[論文レビュー] Exploring the Design Space of Deep Convolutional Neural Networks at Large Scale

Forrest Iandola|arXiv (Cornell University)|Dec 20, 2016

Advanced Neural Network Applications参考文献 116被引用数 14

ひとこと要約

本論文は、深層畳み込みニューラルネットワーク（CNN）の膨大な設計空間を体系的かつ包括的に探索するための手法を提示している。FireCaffeを用いた高速トレーニング、包括的なベンチマーク、CNNアーキテクチャの構造的定義を組み合わせることで、SqueezeNet—モデルサイズを50倍小さくし、精度の損失を最小限に抑えたコンactで高精度なCNN—が同定された。これは、FPGAなどのリソース制約のあるハードウェア上での効率的デプロイを可能にする。

ABSTRACT

In recent years, the research community has discovered that deep neural networks (DNNs) and convolutional neural networks (CNNs) can yield higher accuracy than all previous solutions to a broad array of machine learning problems. To our knowledge, there is no single CNN/DNN architecture that solves all problems optimally. Instead, the "right" CNN/DNN architecture varies depending on the application at hand. CNN/DNNs comprise an enormous design space. Quantitatively, we find that a small region of the CNN design space contains 30 billion different CNN architectures. In this dissertation, we develop a methodology that enables systematic exploration of the design space of CNNs. Our methodology is comprised of the following four themes. 1. Judiciously choosing benchmarks and metrics. 2. Rapidly training CNN models. 3. Defining and describing the CNN design space. 4. Exploring the design space of CNN architectures. Taken together, these four themes comprise an effective methodology for discovering the "right" CNN architectures to meet the needs of practical applications.

研究の動機と目的

• 多様な応用分野にわたる最適なCNNアーキテクチャを発見するための体系的アプローチの欠如に応えること。
• 最大300億のアーキテクチャを含む膨大なCNN設計空間を探索するための計算的・工学的負荷を軽減すること。
• 特にFPGAやエッジデバイスにおいて、ハードウェアとソフトウェアを共同で設計することで効率性を向上させること。
• 従来のアクセラレータ開発に比べ、アーキテクチャの共同設計がハードウェア工学的作業を著しく削減できることを示すこと。

提案手法

• 大規模クラスタ上で大規模かつスケーラブルなトレーニングを可能にする、高度に最適化されたディープラーニングフレームワーク「FireCaffe」を開発した。
• フィルターサイズ、ストライド、チャネル数、プーリング戦略を含む、レイヤー単位のアーキテクチャ的選択に基づいて、CNNの包括的な設計空間を定義した。
• 4段階の手法を導入した：（1）関連するベンチマークとメトリクスの選定、（2）高速トレーニングの実現、（3）設計空間の形式化、（4）体系的な探索。
• 局所的およびグローバルなアーキテクチャ的変更を用いて、レイヤーの次元の変更が計算量、精度、モデルサイズに与える影響を調査した。
• SqueezeNetというCNNアーキテクチャを発見した。これはAlexNetと比較して50倍もパラメータ数を削減しながらも、高いImageNet精度を維持している。
• ハードウェア共同設計による妥当性を検証し、SqueezeNetが最小限の工数でFPGA上への効率的デプロイを可能にしたことを示した。

実験結果

リサーチクエスチョン

• RQ1 CNN設計空間を定義づける主なアーキテクチャ的次元は何か？ そして、それらは計算量、精度、モデルサイズにどのように影響するか？
• RQ2 大規模なCNN設計空間を体系的に探索する方法は何か？ これにより、高性能なアーキテクチャを効果的に同定できるか？
• RQ3 ハードウェアと共同してCNNアーキテクチャを設計することで、アクセラレータ開発に要する作業量を著しく削減できるか？
• RQ4 モデル圧縮とアーキテクチャ的イノベーションを組み合わせることで、精度を損なわずにメモリと計算リソースの要件をどれだけ削減できるか？
• RQ5 トレーニングフレームワークとハードウェアの選択が、大規模なCNN設計空間の探索可能性にどのように影響するか？

主な発見

• CNN設計空間には約300億の異なるアーキテクチャが存在し、最適なモデルを同定するには体系的探索が不可欠である。
• SqueezeNetは、125万パラメータ（AlexNetの50分の1）で92.4％のTop-1 ImageNet精度を達成しており、高い効率性を維持している。
• SqueezeNetのアーキテクチャ、特にFireモジュールは、オンチップメモリ使用量を最小限に抑え、2の累乗次元をサポートすることで、FPGA上での効率的デプロイを可能にしている。
• CNNをハードウェア（例：FPGA）と共同設計することで、大規模チームによる数年間の開発作業が、単一研究者による6か月間の作業にまで短縮可能である。
• マックスプーリングをストライド付き畳み込みに置き換えることで、メモリ効率が向上し、一部のケースではImageNet-1kにおける精度も向上した。
• この手法によりSqueezeNetが発見され、アーキテクチャ的イノベーションがエネルギー効率とスループットにおいて、桁違いの向上をもたらす可能性を示した。