[論文レビュー] Compressing complex convolutional neural network based on an improved deep compression algorithm

Jiasong Wu, Hongshan Ren+4 more|arXiv (Cornell University)|Mar 6, 2019

Advanced Neural Network Applications参考文献 22被引用数 5

ひとこと要約

本稿では、複素数値畳み込みニューラルネットワーク（Complex CNNs）向けに改善されたディープ圧縮アルゴリズムを提案する。従来の圧縮技術を実数領域から複素数領域へ拡張する。ImageNetでは最大16倍のモデル圧縮を達成し、精度低下は約2%にとどまる。CIFAR-10では8倍の圧縮を実現し、精度損失は3%未満であり、微調整なしに実現可能である。これにより、Complex CNNsの圧縮の実現可能性と有効性が示された。

ABSTRACT

Although convolutional neural network (CNN) has made great progress, large redundant parameters restrict its deployment on embedded devices, especially mobile devices. The recent compression works are focused on real-value convolutional neural network (Real CNN), however, to our knowledge, there is no attempt for the compression of complex-value convolutional neural network (Complex CNN). Compared with the real-valued network, the complex-value neural network is easier to optimize, generalize, and has better learning potential. This paper extends the commonly used deep compression algorithm from real domain to complex domain and proposes an improved deep compression algorithm for the compression of Complex CNN. The proposed algorithm compresses the network about 8 times on CIFAR-10 dataset with less than 3% accuracy loss. On the ImageNet dataset, our method compresses the model about 16 times and the accuracy loss is about 2% without retraining.

研究の動機と目的

• 複素数値畳み込みニューラルネットワーク（Complex CNNs）に対する圧縮技術の欠如に応えるため。これらは優れた最適化および一般化特性を有するが、圧縮手法が不足している。
• 広く用いられているディープ圧縮フレームワークを実数領域から複素数領域へ拡張するため。
• リソース制約のある組み込みおよびモバイルデバイスへのComplex CNNの効率的デプロイを可能にするため、モデルサイズとパラメータの重複を削減する。
• 圧縮中に高いモデル精度を維持し、微調整や再訓練の必要を最小限に抑えるため。

提案手法

• 複素数重みの大きさと位相成分を適応させることで、実数領域における3段階のディープ圧縮パイプライン（プルーニング、トレーニング済み量子化、エントロピー符号化）を複素数領域へ拡張する。
• ネットワーク構造を保つために、大きさのしきい値に基づき、重要度の低い複素数値フィルタを構造的プルーニングで削除する。
• 実部と虚部を共有の量子化スキームで同時に圧縮する量子化戦略を実装する。
• 統計的冗長性を活用して、量子化済み複素数重みに対してエントロピー符号化を適用し、さらにモデルサイズを削減する。
• 精度劣化を最小限に抑えるために、性能を維持するための新しい初期化およびトレーニング戦略を採用する。
• ネットワーク容量と一般化能力を保持しつつ、複素数値テンソルを処理できるように、標準の圧縮パイプラインを変更する。

実験結果

リサーチクエスチョン

• RQ1 ディープ圧縮フレームワークは、実数値から複素数値ニューラルネットワークへ効果的に拡張可能か？
• RQ2 同じ圧縮比のもとで、Complex CNNの圧縮性能は実数値ネットワークと比べてどうか？
• RQ3 特に再訓練なしに、Complex CNNをどの程度まで圧縮できるか？精度の著しい低下は生じないか？
• RQ4 性能を維持するためには、プルーニング、量子化、エントロピー符号化にどのような変更が必要か？

主な発見

• 提案手法は、再訓練なしにCIFAR-10データセットで約8倍の圧縮を達成し、精度損失は3%未満である。
• ImageNetデータセットでは、モデルが約16倍に圧縮され、精度劣化は約2%にとどまり、再訓練は不要である。
• 複素数重みが持つ固有の構造的利点により、Complex CNNに適用した場合、既存の実数値圧縮手法よりも顕著に高い圧縮効率を示す。
• 圧縮後でもComplex CNNの高い一般化および最適化可能性が維持されており、そのロバスト性が確認された。
• ディープ圧縮を複素数領域へ拡張することは実現可能かつ有効であり、モバイルおよび組み込みプラットフォームへのComplex CNNのデプロイを可能にする。