[論文レビュー] Spectral-Pruning: Compressing deep neural network via spectral analysis

Taiji Suzuki, Hiroshi Abe+7 more|arXiv (Cornell University)|Aug 26, 2018

Neural Networks and Applications参考文献 38被引用数 15

ひとこと要約

本稿では、内部特徴共分散行列のスペクトル解析に基づく、新しいモデル圧縮手法であるSpectral-Pruningを提案する。固有値分布を用いて自由度を定義することで、圧縮と一般化誤差の間の理論的リンクを確立し、バイアス・バリアンスに配慮したプルーニング戦略を採用することで、ベンチマークデータセット上で優れた性能を達成する。

ABSTRACT

Compression techniques for deep neural network models are becoming very important for the efficient execution of high-performance deep learning systems on edge-computing devices. The concept of model compression is also important for analyzing the generalization error of deep learning, known as the compression-based error bound. However, there is still huge gap between a practically effective compression method and its rigorous background of statistical learning theory. To resolve this issue, we develop a new theoretical framework for model compression and propose a new pruning method called {\it spectral pruning} based on this framework. We define the ``degrees of freedom'' to quantify the intrinsic dimensionality of a model by using the eigenvalue distribution of the covariance matrix across the internal nodes and show that the compression ability is essentially controlled by this quantity. Moreover, we present a sharp generalization error bound of the compressed model and characterize the bias--variance tradeoff induced by the compression procedure. We apply our method to several datasets to justify our theoretical analyses and show the superiority of the the proposed method.

研究の動機と目的

• 実用的なモデル圧縮技術と統計的学習理論の間のギャップを埋めること。
• 深層ニューラルネットワークにおけるモデル圧縮を理論的に裏付けたフレームワークを構築すること。
• モデルの圧縮が一般化誤差に与える影響を、モデルの内在的次元数を通じて特徴づけること。
• 圧縮におけるバイアス・バリアンストレードオフを最適化する新しいプルーニング手法を提案すること。

提案手法

• 内部層における共分散行列の固有値分布を用いて、深層ニューラルネットワークの「自由度」を定義すること。
• 特徴活性化のスペクトル解析を用いて、モデルの内在的次元数を定量化すること。
• 自由度に基づいて、圧縮モデルの鋭い一般化誤差バウンドを導出すること。
• スペクトル感度とモデル容量への寄与度に基づいて、パラメータを段階的に削除するプルーニング戦略を策定すること。
• 理論的誤差バウンドをプルーニング目的関数に統合し、バイアスとバリアンスのバランスをとること。
• 標準的な深層学習ベンチマークにこの手法を適用し、理論的主張の妥当性を検証すること。

実験結果

リサーチクエスチョン

• RQ1 内部表現のスペクトル的性質を用いて、どのようにモデル圧縮を理論的に正当化できるか？
• RQ2 内部特徴共分散の固有値分布とモデル一般化誤差の関係は何か？
• RQ3 圧縮は深層ニューラルネットワークにおけるバイアス・バリアンストレードオフにどのように影響するか？
• RQ4 スペクトル解析に基づくプルーニング手法は、既存の圧縮技術を上回る性能を発揮できるか？
• RQ5 提案された理論的誤差バウンドは、圧縮後の一般化性能をどの程度正確に予測できるか？

主な発見

• 内部特徴共分散の固有値分布を用いて定義された自由度は、深層ニューラルネットワークの内在的次元数を効果的に定量化する。
• 提案されたスペクトルプルーニング手法は、複数のベンチマークデータセットで最先端の圧縮性能を達成する。
• 鋭い一般化誤差バウンドが導出され、モデル圧縮と一般化誤差の間の理論的整合性が確立された。
• 本手法は、圧縮によって生じるバイアス・バリアンストレードオフを明示的にモデル化し、バランスを取っている。
• 実験的結果から、スペクトルプルーニングがモデルサイズを顕著に削減しながら、モデル精度を維持または向上させることを確認した。
• 理論的フレームワークにより、一般化に及ぼす圧縮効果を一貫した根拠に基づいて理解できるようになった。実務と理論のギャップを埋めた。