[論文レビュー] Taxonomy and Evaluation of Structured Compression of Convolutional Neural Networks

Andrey Kuzmin, Markus Nagel+4 more|arXiv (Cornell University)|Dec 20, 2019

Tensor decomposition and applications参考文献 47被引用数 15

ひとこと要約

本論文は、データおよび計算リソース要件に基づいて、畳み込みニューラルネットワークの構造的圧縮のための三段階分類法を提案する。ImageNet上でSVD、テンソル因子分解、チャネルプルーニング、確率的手法を評価し、SVDと確率的プルーニングが補完的であることが判明。両者の組み合わせにより最高の性能が得られ、事前学習済みモデルの圧縮が、初期から小さなモデルを学習するのよりも優れた結果をもたらすことを示している。

ABSTRACT

The success of deep neural networks in many real-world applications is leading to new challenges in building more efficient architectures. One effective way of making networks more efficient is neural network compression. We provide an overview of existing neural network compression methods that can be used to make neural networks more efficient by changing the architecture of the network. First, we introduce a new way to categorize all published compression methods, based on the amount of data and compute needed to make the methods work in practice. These are three 'levels of compression solutions'. Second, we provide a taxonomy of tensor factorization based and probabilistic compression methods. Finally, we perform an extensive evaluation of different compression techniques from the literature for models trained on ImageNet. We show that SVD and probabilistic compression or pruning methods are complementary and give the best results of all the considered methods. We also provide practical ways to combine them.

研究の動機と目的

• 構造的ニューラルネットワーク圧縮手法を比較するための体系的フレームワークの欠如に対処すること。
• 大規模画像分類タスクにおけるさまざまな圧縮手法（SVD、テンソル因子分解、チャネルプルーニング、確率的手法）の有効性を評価すること。
• 事前学習済みモデルの圧縮が、初期から小さなモデルを学習するのと比較して優れた結果をもたらすかどうかを調査すること。
• 圧縮比最適化において、事前ファインチューニング精度を、ファインチューニング後の精度の代理として使用することが妥当かどうかを評価すること。
• 性能と効率を最大化するために、圧縮手法を組み合わせるための実用的ガイドラインを提供すること。

提案手法

• データフリーでファインチューニングを伴わないレベル1、データ最適化でバックプロパゲーションを伴わないレベル2、バックプロパゲーションを伴う完全なファインチューニングを含む三段階の圧縮フレームワークを提案。
• 畳み込みカーネルの低ランク近似に、空間的SVDおよびCP分解を用いたSVDベースの手法を評価。
• 近似精度の向上を目的に、非対称定式化やGSVDを含む、レイヤー単位の最適化手法を適用。
• 確率的圧縮手法（例：VIBNet、L0プルーニング）では、変分推論とL0正則化を用いて構造的スパarsityを実現。
• 初期の圧縮比割り当てに、特異値に基づくグリーディランク選択戦略を採用。
• 50個の摂動を加えた圧縮モデルにおいて、事前ファインチューニングとファインチューニング後の精度を比較することで、代理精度仮定の妥当性を検証。

実験結果

リサーチクエスチョン

• RQ1 異なる構造的圧縮手法が、提案された三段階の圧縮レベルにおいて、精度と効率の観点からどのように比較されるか？
• RQ2 圧縮比最適化において、事前ファインチューニング精度は、ファインチューニング後の精度の信頼できる代理として成立するか？
• RQ3 SVD、テンソル因子分解、プルーニング、確率的手法のうち、どの圧縮手法が、異なる圧縮比において最高のパフォーマンスを発揮するか？
• RQ4 SVDと確率的プルーニング手法を組み合わせることで、個別の手法と比較して優れたパフォーマンスが得られるか？
• RQ5 大きな事前学習済みモデルを圧縮することは、初期から小さなモデルを学習するのと比較して優れた結果をもたらすか？これはロットリート・チケット仮説を支持するか？

主な発見

• SVDベースの圧縮、特にGSVD最適化を施した空間的SVDは、特に高い圧縮比において、レベル1およびレベル3で他の手法を上回る性能を示す。
• VIBNet や L0 プルーニングなどの確率的手法は、レベル3における中程度の圧縮比で、高い精度保持を達成し、最良の結果をもたらす。
• 事前ファインチューニング精度とファインチューニング後の精度の間に顕著な相関は認められず、事前ファインチューニング精度を最適化の代理として使用できるという一般的な仮定は無効である。
• VIBNet と空間的SVD の組み合わせが、すべてのモデルおよび圧縮レベルで最良の全体的パフォーマンスを発揮し、両者の補完的関係を示している。
• 大きな事前学習済みモデル（例：ResNet-18）のレベル3圧縮は、初期から小さなモデルを学習するのと比較して高い精度を達成しており、ロットリート・チケット仮説を支持する。
• 提案された三段階分類法は、実用的要件に基づいて圧縮手法を明確に区別でき、より明確な比較と選択を可能にする。