[論文レビュー] EigenDamage: Structured Pruning in the Kronecker-Factored Eigenbasis

Chaoqi Wang, Roger Grosse+2 more|arXiv (Cornell University)|May 15, 2019

Advanced Neural Network Applications被引用数 30

ひとこと要約

EigenDamageは、ヘッセ行列が近似的に対角となるKronecker因数分解固有基底（KFE）における層の再パrameter化により、構造的ニューラルネットワーク pruning を実現する。この手法により、広いResNet32において、精度損失を最小限に抑えつつ最大10倍のモデルサイズ削減と8倍のFLOPs削減を達成し、特に困難なデータセットやネットワークにおいてベースラインを上回る性能を発揮する。

ABSTRACT

Reducing the test time resource requirements of a neural network while preserving test accuracy is crucial for running inference on resource-constrained devices. To achieve this goal, we introduce a novel network reparameterization based on the Kronecker-factored eigenbasis (KFE), and then apply Hessian-based structured pruning methods in this basis. As opposed to existing Hessian-based pruning algorithms which do pruning in parameter coordinates, our method works in the KFE where different weights are approximately independent, enabling accurate pruning and fast computation. We demonstrate empirically the effectiveness of the proposed method through extensive experiments. In particular, we highlight that the improvements are especially significant for more challenging datasets and networks. With negligible loss of accuracy, an iterative-pruning version gives a 10$ imes$ reduction in model size and a 8$ imes$ reduction in FLOPs on wide ResNet32.

研究の動機と目的

• リソース制約下の推論において、精度を損なわず、効率的な構造的ニューラルネットワーク pruning を実現すること。
• 重みの相関性が pruning の精度と計算効率を低下させるパrameter空間におけるヘッセ行列ベースの pruning の限界を克服すること。
• 標準的なハードウェアおよびソフトウェアで自然に高速化を実現できる低ランクでバッファン型のネットワーク圧縮を可能にすること。
• グローバル圧縮比に基づき、層ごとのランクを自動的に決定する損失に配慮した手法を提供し、手動のチューニングを回避すること。
• CIFAR100 や Tiny-ImageNet のような困難なデータセットにおいて、従来の手法が高モデル複雑性のため苦戦する状況でも、優れた性能を示すこと。

提案手法

• 全結合層および畳み込み層をKronecker因数分解固有基底（KFE）を用いて再パラメータ化し、ヘッセ行列を近似的に対角化する。
• KFE座標系において、最適なブレインダメージ（OBD）および最適なブレインサージョン（OBS）の pruning 基準を適用し、重みが近似的に独立している状態で処理する。
• KFEにおけるヘッセ行列に基づく感度を用いて、チャンネル単位での構造的 pruning を実施し、全チャンネルを削除することで低ランクでバッファン型の構造を実現する。
• Desjardinsら（2015）にインspiredされた新しいネットワーク再パラメータ化手法を導入し、各層を明示的にKFEに基づいて表現することで、計算を効率化する。
• 過剰 pruning を回避するため、1層あたり50%の pruning 確率を上限とする反復的 pruning を実施し、各反復後にファインチューニングを許容する。
• グローバル pruning 確率をキャリブレーションして、各層の最適ランクを自動的に決定し、手動でのランク指定なしに一貫した圧縮を実現する。

実験結果

リサーチクエスチョン

• RQ1 重みの相関性を最小限に抑える座標系に変換することで、ヘッセ行列ベースの構造的 pruning の精度と効率を向上させられるか？
• RQ2 Kronecker因数分解固有基底（KFE）における pruning は、標準的なパrameter空間 pruning よりも一般化性能が高く、FLOPsが低減されるか？
• RQ3 EigenDamageは、CP分解のような低ランク近似手法と比較して、精度、スループットの向上、損失に配慮した特性において優れているか？
• RQ4 EigenDamageは、Tiny-ImageNet や複雑なアーキテクチャ（例：ResNet）のような困難なデータセット・ネットワークにおいて、顕著な圧縮を達成できるか？
• RQ5 同じ圧縮比のもとで、EigenDamageの自動ランク選択機構は、低ランク手法における手動ランクチューニングを上回る性能を発揮するか？

主な発見

• EigenDamageは、広いResNet32において、精度損失を最小限に抑えつつ、モデルサイズを10倍、FLOPsを8倍削減し、強力な圧縮効率を示した。
• CIFAR100 や Tiny-ImageNet において、EigenDamageは最先端のベースライン（C-OBD、C-OBS、Kron-OBD、Kron-OBS）を顕著に上回り、特にResNetのような深層ネットワークにおいて顕著な優位性を示した。
• 反復的 pruning を用いることで、一貫した性能向上が得られ、より複雑なデータセットやアーキテクチャにおいて最大の向上が観察された。
• ファインチューニングなしでも、EigenDamageはCP分解を上回る精度とスループット向上を達成した。これは、損失に配慮した性質と自動ランク選択によるものである。
• 本手法は層ごとのバランスの取れた pruning 確率を生成し、特徴の凝縮が重要な上位層では、NNスリミングのような手法よりも多くのフィルタを保持した。
• EigenDamageの自動ランク選択機構により、低ランク手法における各層ごとのランク指定が不要となり、探索の複雑さが低減された。