[論文レビュー] Efficient Deep Neural Networks

BoRui Wu|arXiv (Cornell University)|Aug 20, 2019

Advanced Neural Network Applications参考文献 167被引用数 10

ひとこと要約

本学位論文は、モデル、データ、ハードウェア、設計の4つの次元にわたる効率的なディープニューラルネットワークの包括的フレームワークを提示する。SqueezeDetおよびSqueezeSegは、高速かつ低消費電力なビジョンタスクを実現する。LATTEはLiDARのアノテーションを6.2倍高速化する。Shift & Synetgyは、共同設計されたハードウェアにより11.6倍高速な推論を実現する。また、従来手法に比べ421倍の低い探索コストで最先端の精度を達成する微分可能ニューラルアーキテクチャ探索（DNAS）を導入する。

ABSTRACT

The success of deep neural networks (DNNs) is attributable to three factors: increased compute capacity, more complex models, and more data. These factors, however, are not always present, especially for edge applications such as autonomous driving, augmented reality, and internet-of-things. Training DNNs requires a large amount of data, which is difficult to obtain. Edge devices such as mobile phones have limited compute capacity, and therefore, require specialized and efficient DNNs. However, due to the enormous design space and prohibitive training costs, designing efficient DNNs for different target devices is challenging. So the question is, with limited data, compute capacity, and model complexity, can we still successfully apply deep neural networks? This dissertation focuses on the above problems and improving the efficiency of deep neural networks at four levels. Model efficiency: we designed neural networks for various computer vision tasks and achieved more than 10x faster speed and lower energy. Data efficiency: we developed an advanced tool that enables 6.2x faster annotation of a LiDAR point cloud. We also leveraged domain adaptation to utilize simulated data, bypassing the need for real data. Hardware efficiency: we co-designed neural networks and hardware accelerators and achieved 11.6x faster inference. Design efficiency: the process of finding the optimal neural networks is time-consuming. Our automated neural architecture search algorithms discovered, using 421x lower computational cost than previous search methods, models with state-of-the-art accuracy and efficiency.

研究の動機と目的

• 計算リソース、データ、モデルの複雑さが限られたエッジデバイスに、正確なディープニューラルネットワークを展開する課題に対処する。
• 計算負荷を最小限に抑えることで、ニューラルアーキテクチャ探索を自動化し、効率的なモデルのトレーニングと設計にかかる費用を抑える。
• 高度なアノテーションツールとドメイン適応技術を活用してデータ効率を向上させ、高価な実世界データ収集への依存を減らす。
• ニューラルネットワークとアクセラレータの共同設計により、エッジハードウェア上で高速な推論を実現する。
• 自動的かつ微分可能なニューラルアーキテクチャ探索を採用し、大幅に低い探索コストで高精度かつ効率的なモデルを発見する。

提案手法

• 1×1畳み込みとファイアモジュールを用いた軽量なCNN、SqueezeDetおよびSqueezeSegを提案し、高速かつ低消費電力な推論を実現する。
• センサーフュージョンとトラッキングを活用したワンクリックアノテーションシステムであるLATTEを導入し、LiDARポイントクラウドのラベル付けを6.2倍高速化する。
• シミュレートされたデータを実世界のLiDARセグメンテーションに活用するためのドメイン適応技術（学習済み強度レンダリング、測地的相関整合、プログレッシブキャリブレーション）を提案する。
• 深さ方向分離畳み込みのハードウェアフレンドリーな代替手段としてのシフト演算子を設計し、カスタムアクセラレータ上で効率的な推論を可能にする。
• シフト演算子の計算効率を活かして、DiracDeltaNetとSynetgyアクセラレータを共同設計し、エッジデバイス上で11.6倍高速な推論を実現する。
• Gumbel-Softmaxを用いた微分可能なニューラルアーキテクチャ探索（DNAS）を採用し、従来手法に比べ421倍低い計算コストでエンドツーエンドの勾配ベース探索を実現する。

実験結果

リサーチクエスチョン

• RQ1 エッジデバイスへの展開に適した、最先端の精度を達成しながらも10倍以上高速かつ低消費電力なディープニューラルネットワークを設計可能か？
• RQ2 ラベル品質を損なわずに、3次元LiDARポイントクラウドのアノテーションコストをどのように低減できるか？
• RQ3 ドメイン適応を用いることで、シミュレートされたデータをどれだけ活用して、耐障害性のある3次元セマンティックセグメンテーションモデルを訓練できるか？
• RQ4 ハードウェアに配慮したニューラルネットワーク設計は、エッジアクセラレータ上で顕著な推論高速化を達成できるか？
• RQ5 微分可能なニューラルアーキテクチャ探索は、性能を維持または向上させながら、計算コストを桁違いに低減できるか？

主な発見

• SqueezeDetはKITTIオブジェクト検出ベンチマークにおいて、ベースラインモデルに比べ10倍以上高速な推論速度と低消費電力性能を達成する。
• LATTEは、従来の手動アノテーション手法に比べ、LiDARポイントクラウドのアノテーション時間を6.2倍短縮する。
• ドメイン適応を施したSqueezeSegV2は、実世界のLiDARデータにおいて競争力ある性能を発揮し、実世界のアノテーションに依存する必要を大幅に削減する。
• シフト演算子の計算効率を活かしたShift & Synetgyの共同設計フレームワークにより、エッジハードウェア上で11.6倍の高速推論が実現された。
• DNASは、従来のニューラルアーキテクチャ探索手法に比べ421倍の低い計算コストで、最先端の精度を達成するモデルを発見した。
• DNASフレームワークは、発表後1年以内に30回以上引用され、新たなSOTAベースラインとして定着した。また、混合精度量子化やオブジェクト検出分野における後続研究を刺激した。