[논문 리뷰] FermiNets: Learning generative machines to generate efficient neural networks via generative synthesis

Alexander Wong, Mohammad Javad Shafiee외 2명|arXiv (Cornell University)|2018. 09. 17.

Ferroelectric and Negative Capacitance Devices참고 문헌 18인용 수 57

한 줄 요약

GenSynth는 엣지 시나리오를 위한 고효율 신경망(FermiNets)을 자동으로 생성하기 위해 생성기-질의자 쌍을 학습시켜, 분류, 세분화, 탐지 작업 전반에서 효율성, MACs, 에너지 효율성 면에서 상당한 이점을 달성합니다.

ABSTRACT

The tremendous potential exhibited by deep learning is often offset by architectural and computational complexity, making widespread deployment a challenge for edge scenarios such as mobile and other consumer devices. To tackle this challenge, we explore the following idea: Can we learn generative machines to automatically generate deep neural networks with efficient network architectures? In this study, we introduce the idea of generative synthesis, which is premised on the intricate interplay between a generator-inquisitor pair that work in tandem to garner insights and learn to generate highly efficient deep neural networks that best satisfies operational requirements. What is most interesting is that, once a generator has been learned through generative synthesis, it can be used to generate not just one but a large variety of different, unique highly efficient deep neural networks that satisfy operational requirements. Experimental results for image classification, semantic segmentation, and object detection tasks illustrate the efficacy of generative synthesis in producing generators that automatically generate highly efficient deep neural networks (which we nickname FermiNets) with higher model efficiency and lower computational costs (reaching >10x more efficient and fewer multiply-accumulate operations than several tested state-of-the-art networks), as well as higher energy efficiency (reaching >4x improvements in image inferences per joule consumed on a Nvidia Tegra X2 mobile processor). As such, generative synthesis can be a powerful, generalized approach for accelerating and improving the building of deep neural networks for on-device edge scenarios.

연구 동기 및 목표

• 엣지 디바이스를 위한 효율적인 온-디바이스 신경망의 필요성을 동기화한다.
• 생성기-질의자 프레임워크로서의 생성적 합성을 도입하여 자동으로 효율적인 네트워크를 생성한다.
• 학습된 생성기가 운영 제약 하에서 다양하고 고효율적인 네트워크(FermiNets)를 생성할 수 있음을 보여준다.
• 분류, 세분화, 탐지 작업 전반에서 실증적 개선을 보인다.

제안 방법

• 생성기 G(s;θG)가 시드 s로부터 네트워크 Ns를 생성하도록 정의한다.
• 질의자 I(·;θI)가 G를 안내하기 위해 매개변수 업데이트 ΔθG를 출력하도록 도입한다.
• 제한된 최적화를 형식화한다: G = argmaxG U(G(s)) subject to 1r(G(s))=1 for all s in seeds S.
• 입력 자극 X로 프루브하고 응답 Y를 관찰하며, 요구사항을 만족시키면서 U를 개선하기 위해 I와 G를 반복적으로 생성·업데이트한다.
• 학습된 G가 서로 다른 시드 s에 대해 다수의 고품질 네트워크 Ns를 생성할 수 있음을 입증한다.
• 정보 밀도, MACs, NetScore를 사용하여 최신의 효율 네트워크와 비교한다.

실험 결과

연구 질문

• RQ1 생성적 합성을 통해 학습된 생성기가 사전 정의된 작동 요건을 충족하는 다양하고 고유한 신경망을 생성할 수 있는가?
• RQ2 학습된 생성기가 생성한 FermiNets가 동시대의 엣지 친화적 아키텍처보다 더 높은 효율성과 NetScore를 달성하는가?
• RQ3 분류, 세분화, 탐지 작업 전반에 걸쳐 정보 밀도, MAC 감소, 에너지 효율에 일관된 이익이 있는가?

주요 결과

• CIFAR-10에서 FermiNets(A–D)은 Top-1 정확도가 NASNet-L2C(S)와 비슷하거나 약간 더 높다(대략 A: ≈1.4%, B: ≈0.4%, C: ≈0.01% 증가).
• FermiNets는 MobileNet, ShuffleNet, NASNet-L2C(S)보다 정보 밀도가 12배 이상 높다.
• FermiNets는 NASNet-L2C(S)보다 MAC 작동 수를 >2.7배, >3.6배, >4.5배, 그리고 A, B, C, D에 대해 각각 약 5배 더 적게 사용한다.
• FermiNets의 NetScores는 A–D에 대해 각각 MobileNet, ShuffleNet, NASNet-L2C(S)보다 >11.8, >15, >15.6, >17.5 포인트 이상 높다.
• 시맨틱 분할에서 FermiNet-SS는 90.4% 정확도(RefineNet 90.3% 대비)와 12배 이상 높은 정보 밀도, 약 2.6배 적은 MAC를 달성해 약 15 NetScore 개선을 가져온다.
• 객체 탐지에서 FermiNet-OD는 61.0% mAP(N DetectNet 61.8% 대비)을 달성하며 정보 밀도 10배 이상 증가, MAC 11배 이상 감소, NetScore가 21포인트 이상 높다.
• Nvidia Tegra X2에서의 에너지 효율은 FermiNet-OD가 DetectNet보다 1joule당 추론을 4배 이상 수행하며, 엣지 디바이스 성능 이점이 강하게 나타난다.