[論文レビュー] A Survey on Deep Neural Network Compression: Challenges, Overview, and Solutions

Rahul Mishra, Hari Prabhat Gupta+1 more|arXiv (Cornell University)|Oct 5, 2020

Advanced Neural Network Applications参考文献 97被引用数 60

ひとこと要約

本論文は既存の深層ニューラルネットワーク（DNN）圧縮技術を調査し、それらを剪定、疎表現、低精度、知識蒸留、その他に分類し、IoT展開に関する課題と今後の方向性を論じる。

ABSTRACT

Deep Neural Network (DNN) has gained unprecedented performance due to its automated feature extraction capability. This high order performance leads to significant incorporation of DNN models in different Internet of Things (IoT) applications in the past decade. However, the colossal requirement of computation, energy, and storage of DNN models make their deployment prohibitive on resource constraint IoT devices. Therefore, several compression techniques were proposed in recent years for reducing the storage and computation requirements of the DNN model. These techniques on DNN compression have utilized a different perspective for compressing DNN with minimal accuracy compromise. It encourages us to make a comprehensive overview of the DNN compression techniques. In this paper, we present a comprehensive review of existing literature on compressing DNN model that reduces both storage and computation requirements. We divide the existing approaches into five broad categories, i.e., network pruning, sparse representation, bits precision, knowledge distillation, and miscellaneous, based upon the mechanism incorporated for compressing the DNN model. The paper also discussed the challenges associated with each category of DNN compression techniques. Finally, we provide a quick summary of existing work under each category with the future direction in DNN compression.

研究の動機と目的

• リソース制約のあるIoTデバイスでの展開を可能にするために、DNN圧縮技術の包括的な概要を提供する。
• 圧縮手法を五つの大カテゴリに分類し、各カテゴリ内の代表的な研究を対応づける。
• 現在の技術の課題とギャップを明らかにし、今後の研究方向を提案する。
• 各カテゴリが精度を維持しつつ、ストレージ、計算量、エネルギー要件をどのように低減するかを要約する。

提案手法

• DNN圧縮技術を五つのカテゴリに分類する：ネットワーク剪定、疎表現、ビット精度、知識蒸留、その他。
• 各カテゴリ内のサブカテゴリを検討する（例：チャネル/フィルタ/接続/層の剪定；量子化、マルチプレックス、ウェイト共有；整数推定、低ビット表現、2値化；ロジットの転送、ティーチャーアシスタント、ドメイン適応）。
• 各カテゴリに関連する課題を議論し、精度のトレードオフやリソース制約デバイスでの展開を含む配慮事項を含む。
• 各カテゴリの既存研究の総括的要約を提供し、DNN圧縮の今後の方向性を概説する。

実験結果

リサーチクエスチョン

• RQ1 文献におけるDNN圧縮技術の主なカテゴリとサブカテゴリは何か。
• RQ2 各圧縮カテゴリに関連する主要な課題と精度のトレードオフは何か。
• RQ3 現在のアプローチはリソース制約のあるIoTデバイスへの展開にどう対処しており、今後の課題はどこにあるか。
• RQ4 精度の低下を大きく抑えつつ、より良いストレージ、計算、およびエネルギー効率を達成するために、DNN圧縮を進展させる将来の方向性は何か。

主な発見

• DNN圧縮の文献は五つの大分類に整理されている：ネットワーク剪定、疎表現、ビット精度、知識蒸留、その他。
• チャネル、フィルタ、接続、層の剪定はネットワーク剪定の主要なサブカテゴリであり、それぞれ異なる戦略とトレードオフがある。
• 疎表現には、ストレージとFLOPを削減しつつ性能を維持することを目的とした量子化、マルチプレクシング、ウェイト共有が含まれる。
• ビット精度技術には、整数推定、低ビット表現、2値化が含まれ、重みの格納と計算を低減する。
• 知識蒸留は、大きな教師モデルから小さな学生モデルへ一般化を移すことで、圧縮後の精度低下を緩和する。
• その他の技術は、モバイルおよび組み込みデバイスへの適合性および並列化などの展開面に焦点を当てる。