[論文レビュー] Spectral Pruning: Compressing Deep Neural Networks via Spectral Analysis and its Generalization Error

Taiji Suzuki, Hiroshi Abe+7 more|arXiv (Cornell University)|Aug 26, 2018

Sparse and Compressive Sensing Techniques参考文献 54被引用数 6

ひとこと要約

この論文は、内部層の活性化のスペクトル解析を活用して冗長なニューロンを同定・削除する、深層ニューラルネットワーク圧縮の新規手法であるスペクトルプルーニングを提案する。隠れユニットの共分散行列の固有値分布から導かれる自由度を用いてモデルの複雑さを定量化することで、理論的裏付けに基づいた効果的なプルーニングが可能となり、モデルサイズを縮小しながら高い精度を維持する。また、圧縮によって引き起こされるバイアス・バリアンストレードオフを捉えたタイトな一般化誤差境界を提示する。

ABSTRACT

Compression techniques for deep neural network models are becoming very important for the efficient execution of high-performance deep learning systems on edge-computing devices. The concept of model compression is also important for analyzing the generalization error of deep learning, known as the compression-based error bound. However, there is still huge gap between a practically effective compression method and its rigorous background of statistical learning theory. To resolve this issue, we develop a new theoretical framework for model compression and propose a new pruning method called {\it spectral pruning} based on this framework. We define the ``degrees of freedom'' to quantify the intrinsic dimensionality of a model by using the eigenvalue distribution of the covariance matrix across the internal nodes and show that the compression ability is essentially controlled by this quantity. Moreover, we present a sharp generalization error bound of the compressed model and characterize the bias--variance tradeoff induced by the compression procedure. We apply our method to several datasets to justify our theoretical analyses and show the superiority of the the proposed method.

研究の動機と目的

• 実用的なモデル圧縮技術と統計的学習理論の間のギャップを埋めるために、理論的裏付けに基づいたプルーニング手法を開発すること。
• 内部層の活性化の固有値スペクトルから導かれる自由度の概念を用いて、モデル圧縮能力を定量化すること。
• プルーニングによって引き起こされるバイアス–バリアンストレードオフを明示的に捉える、鋭い一般化誤差境界を導出すること。
• 個々のニューロンの大きさではなく、ニューロン間の冗長性に焦点を当てることで、情報損失を最小限に抑えるシンプルで実装可能なプルーニングアルゴリズムを設計すること。
• 理論枠組みの実証的妥当性を検証し、ImageNet や CIFAR-10 などのベンチマークデータセットで優れた性能を示すこと。

提案手法

• 本手法は、各隠れ層における活性化の共分散行列の有効ランクとして、深層ニューラルネットワークの自由度を定義する。これは、標本共分散行列の固有値から計算される。
• プルーニングは、活性化行列のスペクトル特性に基づき、共分散構造への寄与が最小限のニューロンを同定して削除することで実施される。
• 圧縮プロセスは、層ごとの共分散行列のトレースに比例する正則化パrameter λℓ によってガイドされ、冗長性に対する層固有の感度を保証する。
• 理論的分析では、ラデマッハ複雑度と対称化を用いて、プルーディングモデルの一般化誤差を境界づける。これにより、誤差が自由度および関数クラスのデータ依存複雑度に依存することを示している。
• 本手法はチャネルレベルおよび層レベルの両方のプルーニングをサポートしており、Spec-Conv（畳み込み層のみをプルーニング）やSpec-GAP（全結合層をグローバル平均プーリングに置き換え）といった変種も存在する。
• 本手法は、再訓練を必要とせず、事前学習済みネットワークの活性化統計のみに依存する同時圧縮手順により実装され、モデル構造を維持する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの内在的次元性は、どのように形式的に定量化可能か？ これにより効果的なプルーニングを導くことができるか？
• RQ2 モデル圧縮と一般化誤差の理論的関係、特にバイアスとバリアンスの観点から、どのように解釈できるか？
• RQ3 内部活性化のスペクトル解析に基づくプルーニング手法は、従来の手法に比べ、より優れた精度と圧縮効率を達成できるか？
• RQ4 提案された一般化誤差境界は、古典的なVC理論と最近の圧縮に基づく境界と比較して、どのように異なるか？
• RQ5 スペクトルプルーニングは、さまざまなアーキテクチャとデータセットにおいて、モデルサイズを縮小しながら性能をどれほど保持できるか？

主な発見

• ImageNet データセットにおいて、Spec-Conv は 131.44M 個のパラメータと 9.58B FLOPs を維持したまま、Top-1 精度 70.418% を達成し、ThiNet-Conv（69.80%）を上回った。
• Spec-GAP は、わずか 8.32M 個のパラメータと 9.34B FLOPs で Top-1 精度 67.540% を達成し、同じ圧縮比下で ThiNet-GAP（67.34%）を上回った。
• 提案された一般化誤差境界は、ナイーブなVC次元境界および最近の圧縮に基づく境界よりも著しくタイトであり、強力な理論的裏付けを示している。
• 層ごとの活性化共分散行列の固有値の減衰から導かれる自由度は、モデルの内在的複雑さを効果的に捉えており、効果的なプルーニングを導く。
• 本手法は、計算コストの増加を最小限に抑えつつ、圧縮効率と精度のトレードオフにおいて最先端の性能を達成した。
• 実験的結果は、理論的予測であるバイアス–バリアンストレードオフを確認した。最適なプルーニングは、圧縮によるバイアスとデータ由来のバリアンスのバランスをとる。