[論文レビュー] FermiNets: Learning generative machines to generate efficient neural networks via generative synthesis

Alexander Wong, Mohammad Javad Shafiee+2 more|arXiv (Cornell University)|Sep 17, 2018

Ferroelectric and Negative Capacitance Devices参考文献 18被引用数 57

ひとこと要約

GenSynthは、エッジ環境向けに自動的に高効率なニューラルネットワーク（FermiNets）を生成するジェネレータ-インキュイジターペアを訓練し、分類、セグメンテーション、検出タスク全般で、効率、MAC、エネルギー効率の顕著な向上を達成します。

ABSTRACT

The tremendous potential exhibited by deep learning is often offset by architectural and computational complexity, making widespread deployment a challenge for edge scenarios such as mobile and other consumer devices. To tackle this challenge, we explore the following idea: Can we learn generative machines to automatically generate deep neural networks with efficient network architectures? In this study, we introduce the idea of generative synthesis, which is premised on the intricate interplay between a generator-inquisitor pair that work in tandem to garner insights and learn to generate highly efficient deep neural networks that best satisfies operational requirements. What is most interesting is that, once a generator has been learned through generative synthesis, it can be used to generate not just one but a large variety of different, unique highly efficient deep neural networks that satisfy operational requirements. Experimental results for image classification, semantic segmentation, and object detection tasks illustrate the efficacy of generative synthesis in producing generators that automatically generate highly efficient deep neural networks (which we nickname FermiNets) with higher model efficiency and lower computational costs (reaching >10x more efficient and fewer multiply-accumulate operations than several tested state-of-the-art networks), as well as higher energy efficiency (reaching >4x improvements in image inferences per joule consumed on a Nvidia Tegra X2 mobile processor). As such, generative synthesis can be a powerful, generalized approach for accelerating and improving the building of deep neural networks for on-device edge scenarios.

研究の動機と目的

• エッジデバイス向けのオンデバイスニューラルネットワークの効率性の必要性を動機づける。
• 自動的に効率的なネットワークを生成するジェネレーター–インキュイジターの枠組みとして、生成的合成を導入する。
• 学習済みジェネレーターが、運用制約の下で多様で高効率なネットワーク（FermiNets）を生成できることを実証する。
• 分類、分割、検出タスク全体での経験的改善を示す。

提案手法

• 種 s からネットワーク Ns を生成するジェネレーター G(s;θG) を定義する。
• G を導くためのパラメータ更新 ΔθG を出力するインクイジター I(·;θI) を導入する。
• 限界付き最適化を定式化する：G = argmaxG U(G(s)) subject to 1r(G(s))=1 for all s in seeds S.
• 入力刺激Xで反復的に生成し、応答Yを観測し、要件を満たしつつ U を改善するよう I と G を更新する。
• 学習済みの G が、異なる seed s に対して複数の高品質なネットワーク Ns を生成できることを示す。
• 情報密度、MAC、NetScore を用いて、最先端の効率的ネットワークと比較評価する。

実験結果

リサーチクエスチョン

• RQ1 生成的合成によって学習されたジェネレーターが、事前に定められた運用要件を満たす多様で独自のニューラルネットワークを生み出せるか？
• RQ2 学習済みジェネレーターによって生成されたFermiNetsは、現代のエッジフレンドリーなアーキテクチャより高い効率とNetScoreを達成するか？
• RQ3 情報密度、MAC削減、エネルギー効率の一貫した向上は、タスク（分類、分割、検出）全体で見られるか？

主な発見

• CIFAR-10 で、FermiNets (A–D) は NASNet-L2C(S) に匹敵するか、やや高いトップ1精度を達成する（A、B、C でそれぞれ約1.4%、約0.4%、約0.01% 高い）。
• FermiNets は MobileNet、ShuffleNet、NASNet-L2C(S) より情報密度が >12× 高い。
• FermiNets は NASNet-L2C(S) より MAC 演算を >2.7×、>3.6×、>4.5×、および ≈5× 少なくする（A、B、C、D に対してそれぞれ）。
• FermiNets の NetScores は MobileNet、ShuffleNet、NASNet-L2C(S) をそれぞれ A–D に対して >11.8、>15、>15.6、>17.5 ポイント上回る。
• セマンティックセグメンテーションでは、FermiNet-SS は 90.4% の精度を達成（RefineNet は 90.3%）で、情報密度は >12×、MAC は約 ≈2.6× 少なく、NetScore は約 15 の改善となる。
• 物体検出では、FermiNet-OD は 61.0% の mAP を達成（DetectNet は 61.8%）で、情報密度は >10×、MAC は >11× 少なく、NetScore は >21 ポイント高い。
• Nvidia Tegra X2 でのエネルギー効率は、FermiNet-OD が DetectNet より 4×超の推論/ジュールを実現し、エッジデバイスでの性能利点を強調する。）