[論文レビュー] Keynote: Small Neural Nets Are Beautiful: Enabling Embedded Systems with Small Deep-Neural-Network Architectures

Forrest Iandola, Kurt Keutzer|arXiv (Cornell University)|Oct 7, 2017

Advanced Neural Network Applications被引用数 19

ひとこと要約

この論文では、480KBのモデルパラメータでImageNetレベルの精度を達成できる小型のディープニューラルネットワークアーキテクチャ、SqueezeNetを紹介している。パラメータのプルーニング、ファイアモジュールアーキテクチャ、ディープワイド分離畳み込みといった、組み込みプロセッサ設計の原則を応用することで、計算量とメモリのオーバーヘッドを最小限に抑えつつ高い精度を実現し、リソース制約のある環境向けにコンactで高性能なニューラルネットワークを設計する実用的なマニュアル（プレイブック）を確立した。

ABSTRACT

Over the last five years Deep Neural Nets have offered more accurate solutions to many problems in speech recognition, and computer vision, and these solutions have surpassed a threshold of acceptability for many applications. As a result, Deep Neural Networks have supplanted other approaches to solving problems in these areas, and enabled many new applications. While the design of Deep Neural Nets is still something of an art form, in our work we have found basic principles of design space exploration used to develop embedded microprocessor architectures to be highly applicable to the design of Deep Neural Net architectures. In particular, we have used these design principles to create a novel Deep Neural Net called SqueezeNet that requires as little as 480KB of storage for its model parameters. We have further integrated all these experiences to develop something of a playbook for creating small Deep Neural Nets for embedded systems.

研究の動機と目的

• 制限されたメモリと計算能力を有するリソース制約のある組み込みシステムにディープニューラルネットワークをデプロイする課題に対処すること。
• モデルサイズとパラメータ数を大幅に削減しながらも高い精度を維持するディープニューラルネットワークアーキテクチャを開発すること。
• 組み込みマイクロプロセッサアーキテクチャの設計原則をニューラルネットワークアーキテクチャ設計に効果的に適用し、効率的なモデル圧縮を可能にすること。
• 組み込みアプリケーション向けにコンパクトで高精度なディープニューラルネットワークを設計するための体系的かつ再利用可能な手法（プレイブック）を構築すること。
• 小さなニューラルネットワークが、複雑なコンピュータビジョンタスクでさえも、大きなモデルと競争力のある性能を示すことができるかどうかを実証すること。

提案手法

• 著者らは、パラメータ数を削減しながら表現力の維持を図るため、スイーブとエクスパンド畳み込みから構成されるファイアモジュールアーキテクチャを採用している。
• 冗長なフィルターやニューロンを除去する反復的プルーニングを適用することで、顕著な精度損失なしにモデルサイズを縮小している。
• 標準的な畳み込みに代えてディープワイド分離畳み込みを用いることで、計算量とパラメータ数を顕著に削減している。
• モデル圧縮中に精度を維持するために、構造的で反復的なトレーニングとプルーニング戦略を適用している。
• 設計プロセスは、メモリフットプリントの最小化や低遅延推論の最適化といった、組み込みシステムアーキテクチャの原則に従っている。
• 最終的なモデル、SqueezeNetはImageNet上でトレーニングおよび評価され、性能と効率性の妥当性を検証している。

実験結果

リサーチクエスチョン

• RQ1 480KBのモデルパラメータでしか要求しないにもかかわらず、高い精度を達成できるディープニューラルネットワークを設計できるか？
• RQ2 組み込みプロセッサ設計の原則を、ディープニューラルネットワークアーキテクチャ設計に効果的に転用できるか？
• RQ3 どのようなアーキテクチャ的および圧縮技術が、精度を損なわずモデルサイズを顕著に削減できるか？
• RQ4 小さなニューラルネットワークは、実世界の組み込みデプロイに十分な精度と効率性を備えていると言えるか？
• RQ5 コンパクトで高性能なニューラルネットワークの作成を支援する体系的で再利用可能なメソドロジーを確立できるか？

主な発見

• SqueezeNetは、モデルパラメータがたった480KBであるにもかかわらず、トップ-1とトップ-5のImageNet検証精度をそれぞれ56.4%および78.5%を達成した。
• AlexNetと比較して510倍も小さいにもかかわらず、同等の精度を維持しており、極めて高いパラメータ効率性を示している。
• ファイアモジュールとディープワイド分離畳み込みの使用により、標準的なCNNと比較してパラメータ数が98%以上削減された。
• 反復的プルーニングと構造的なトレーニングにより、圧縮中でも高い精度を維持でき、性能劣化は最小限に抑えられた。
• 提案された設計手法は、組み込みシステム向けに最適化されたコンパクトで効率的なディープニューラルネットワークを構築するための再利用可能なプレイブックを形成している。
• 結果として、小さなニューラルネットワークが、メモリや計算リソースが制限された環境でも、実用的かつ高精度にデプロイ可能であることが裏付けられた。