[論文レビュー] Efficient Synthesis of Compact Deep Neural Networks

Wenhan Xia, Hongxu Yin+1 more|arXiv (Cornell University)|Apr 18, 2020

Advanced Neural Network Applications参考文献 47被引用数 4

ひとこと要約

本稿では、リソース制限のあるエッジデバイス向けに、コンパクトで高精度な深層ニューラルネットワーク（DNN）およびLSTMを効率的に生成するための成長・ pruning 構築パラダイムを提示する。新しいデータが到着する度に勾配に基づいて接続を段階的に拡張し、その後低マグニチュードの重みを pruning することで、再訓練から始めることと比較して最大67％のトレーニングコストを削減する。また、DeepInversion を用いた合成データ生成技術により、データフリーおよびインクリメンタル学習のシナリオにおいても高い精度を維持する。

ABSTRACT

Deep neural networks (DNNs) have been deployed in myriad machine learning applications. However, advances in their accuracy are often achieved with increasingly complex and deep network architectures. These large, deep models are often unsuitable for real-world applications, due to their massive computational cost, high memory bandwidth, and long latency. For example, autonomous driving requires fast inference based on Internet-of-Things (IoT) edge devices operating under run-time energy and memory storage constraints. In such cases, compact DNNs can facilitate deployment due to their reduced energy consumption, memory requirement, and inference latency. Long short-term memories (LSTMs) are a type of recurrent neural network that have also found widespread use in the context of sequential data modeling. They also face a model size vs. accuracy trade-off. In this paper, we review major approaches for automatically synthesizing compact, yet accurate, DNN/LSTM models suitable for real-world applications. We also outline some challenges and future areas of exploration.

研究の動機と目的

• IoTセンサーやモバイルプラットフォームなどのリソース制限のあるエッジデバイスに、大規模で計算コストの高いDNNおよびLSTMをデプロイする課題に対処すること。
• 新しいデータが到着した際に、大規模モデルを再訓練する際の高いトレーニングコストとメモリフットプリントを低減すること。
• 元のトレーニングデータへのアクセスを必要とせず、プライバシーを保護しながら効率的なモデル圧縮とインクリメンタル学習を可能にすること。
• 訓練済みモデルを活用して、高精細なトレーニングデータを合成するデータフリー知識移行フレームワークを構築すること。
• ハードウェアに配慮した自動アーキテクチャ探索とpruning技術を統合し、実世界のデプロイに適した自動DNN合成パイプラインを高速化すること。

提案手法

• 成長・pruning構築パラダイムは、新しいデータが到着した際に勾配に従って接続を段階的に拡張することで、DNNの学習能力を向上させる。
• 成長段階の後、低マグニチュードの重みを pruning することで、コンパクトで高精度なモデルを生成し、モデルサイズと推論遅延を低減する。
• DeepInversion を用いて、元のデータにアクセスせずにバッチ正規化統計と特徴正則化を用いて、分類器から高精細でクラス条件付きの合成画像を生成する。
• 教師・生徒ネットワーク間の競争正則化を導入することで、適応的DeepInversionは画像の多様性を向上させ、合成データの質を向上させる。
• 本手法により、元のトレーニングデータがなくても、データフリー知識移行、モデルpruning、インクリメンタル学習を実現する。
• 本アプローチは、ResNet-18 や DeepSpeech2 に加え、LSTM、3次元CNN、言語モデルなど、さまざまなアーキテクチャに拡張可能であり、データフリーのトレーニングと圧縮を可能にする。

実験結果

リサーチクエスチョン

• RQ1 エッジデプロイに適したコンパクトなDNNおよびLSTMを、計算コストとメモリコストを低減しつつ、高い精度を維持して効率的に合成するにはどうすればよいか？
• RQ2 元のトレーニングデータが入手不可能な状況下でも、再訓練から始めることなく効果的なインクリメンタル学習を実現するにはどのような技術が必要か？
• RQ3 訓練済みDNNが、元のデータ分布を保持した高精細な合成データをどれだけ効果的に生成できるか？
• RQ4 元のトレーニングデータにアクセスせず、訓練済みモデルのみを用いて、性能劣化を最小限に抑えたデータフリーpruningとモデル圧縮を達成できるか？
• RQ5 ハードウェアに配慮したモデル設計と最適化技術を、実世界のデプロイに適した自動DNN合成パイプラインに統合するにはどうすればよいか？

主な発見

• 成長・pruningフレームワークは、ImageNetにおけるResNet-18で64％、AN4におけるDeepSpeech2で67％のトレーニングコストを再訓練から始めることと比較して削減した。
• DeepInversionは、訓練済み分類器のみを用いて、すべてのクラスで高精細で多様な画像を生成し、元のデータにGANSをトレーニングする必要がなく、BigGANと同等の性能を達成した。
• DeepInversionを用いたデータフリーpruningアプローチは、CIFAR-10およびImageNetで最先端の結果を達成し、元のデータがなくても効果的な知識移行を実現した。
• 適応的DeepInversionは、教師・生徒ネットワーク間の競争正則化により、画像の多様性を向上させ、合成データの質を向上させた。
• 本手法により、顕著なコスト削減が実現されたインクリメンタル学習が可能となり、ResNet-18では60％、DeepSpeech2では62％のコスト削減が達成されたが、モデル精度は維持された。
• 本フレームワークは、LSTM や 3次元CNNなど多様なアーキテクチャに拡張可能であり、動画、音声、テキスト、言語モデリングタスクにおけるデータフリー合成を可能にした。