[論文レビュー] Towards Evolutional Compression

Yunhe Wang, Chang Xu+3 more|arXiv (Cornell University)|Jul 25, 2017

Advanced Neural Network Applications参考文献 20被引用数 12

ひとこと要約

本論文では、遺伝的アルゴリズムを用いて、畳み込みニューラルネットワーク（CNN）内の重複する畳み込みフィルタを自動で特定・削除する進化的な圧縮手法を提案する。各圧縮ネットワークを集団内のバイナリ個体として扱い、性能を維持しつつ顕著な圧縮率と高速化率を達成する、コンactで正確なモデルを進化的に生成する。ImageNet や CIFAR-10 といったベンチマークデータセットでも同等の性能を維持している。

ABSTRACT

Compressing convolutional neural networks (CNNs) is essential for transferring the success of CNNs to a wide variety of applications to mobile devices. In contrast to directly recognizing subtle weights or filters as redundant in a given CNN, this paper presents an evolutionary method to automatically eliminate redundant convolution filters. We represent each compressed network as a binary individual of specific fitness. Then, the population is upgraded at each evolutionary iteration using genetic operations. As a result, an extremely compact CNN is generated using the fittest individual. In this approach, either large or small convolution filters can be redundant, and filters in the compressed network are more distinct. In addition, since the number of filters in each convolutional layer is reduced, the number of filter channels and the size of feature maps are also decreased, naturally improving both the compression and speed-up ratios. Experiments on benchmark deep CNN models suggest the superiority of the proposed algorithm over the state-of-the-art compression methods.

研究の動機と目的

• 計算リソースとメモリリソースが限られたモバイルデバイスやエッジデバイスに大規模なディープCNNをデプロイする課題に対処する。
• 重みが小さいことやフィルタが低ランクであることといった固定の仮定に依存する既存の圧縮手法の限界を克服する。
• 従来の仮定を超えて、多様な種類のフィルタの冗長性を自動で発見する、自動的かつ適応的なアプローチを開発する。
• モデルの精度を損なわず、高い圧縮率と高速化率を達成し、モバイルプラットフォームへの直接デプロイを可能にする。
• 圧縮後のネットワークが特殊なデコーディングや推論エンジンを必要としない、標準的なデプロイ可能なCNNのままであることを保証する。

提案手法

• 各圧縮CNNを、各ビットが畳み込みフィルタの有無を符号化するバイナリ個体として表現する。
• ネットワーク圧縮をバイナリ最適化問題として定式化し、適応度をモデルの精度とコンactさに基づいて定義する。
• 世代を跨いで交差と変異の遺伝的操作を適用し、より優れた性能とよりコンactなアーキテクチャへと集団を進化させる。
• 適応度評価中に高速微調整が可能となるよう、トレーニングデータの小規模サブセットを用いることで、効率的な進化的探索を実現する。
• 大きなフィルタや小さなフィルタ、高周波成分も冗長である可能性があることを利用し、より広範な冗長性検出を可能にする。
• フィルタ数だけでなく、特徴マップのチャンネル数の削減も行い、層を跨いで累積的な圧縮効果を生み出す。

実験結果

リサーチクエスチョン

• RQ1 進化的アルゴリズムは、従来の仮定（例：小さな重みや低ランクフィルタ）を超えて、畳み込みフィルタの多様な種類の冗長性を自動で発見・削除できるか？
• RQ2 手作業で設計されたまたはヒューリスティックに基づく圧縮手法と比較して、進化的探索はモデルサイズと推論速度の面でどの程度優れているか？
• RQ3 提案手法は、標準ベンチマークで高い圧縮率を達成しながらも、分類精度を保持できるか？
• RQ4 特徴マップとフィルタチャンネルの圧縮は、モバイルデプロイにおける全体的な効率向上にどの程度寄与するか？
• RQ5 得られた圧縮ネットワークは、特殊な推論ハードウェアやデコーディングを必要とせず、標準的なデプロイ可能なCNNのままであるか？

主な発見

• 提案手法は、ResNet-50 で 8.81×、VGGNet-16 で 11.38× の圧縮比を達成し、複数の層で 30× を超える高速化率を示した。
• 圧縮ネットワークは元のモデルと同等の精度を維持しており、小規模なデータサブセットを用いた微調整により、高速な収束が可能であった。
• 特徴マップの圧縮比は VGGNet-16 で最大 2.54× に達し、モデル重みだけでなく活性化メモリ使用量の削減も示している。
• 8ビット量子化と組み合わせることで、ResNet-50 での圧縮比は約 16× にまで向上し、ベースライン手法を顕著に上回った。
• 最終的な圧縮モデルは通常のCNNのままであり、追加のデコーディングやハードウェアサポートなしにモバイルデバイスに直接デプロイ可能であった。
• 進化的アプローチにより、大きなフィルタや小さなフィルタ、高周波成分も冗長であることが発見され、従来のフィルタ重要性に関する仮定に疑問を呈した。