[論文レビュー] Filter Sketch for Network Pruning

Mingbao Lin, Liujuan Cao+6 more|arXiv (Cornell University)|Jan 23, 2020

Advanced Neural Network Applications参考文献 57被引用数 5

ひとこと要約

FilterSketchは、Frequent Directionアルゴリズムを用いた行列スケッチを介して事前学習済み畳み込みフィルタの2次共分散を保持する構造的ネットワーク prune手法を提案する。再訓練や反復最適化を必要とせず、高い精度を維持したままモデル圧縮を実現する。ResNet-110では63.3%のFLOPs削減と59.9%のパラメータ削減を達成し、精度低下は無視できる程度であり、ResNet-50では45.5%のFLOPs削減を達成し、トップ1精度はたった0.69%の低下にとどまる。

ABSTRACT

We propose a novel network pruning approach by information preserving of pre-trained network weights (filters). Network pruning with the information preserving is formulated as a matrix sketch problem, which is efficiently solved by the off-the-shelf Frequent Direction method. Our approach, referred to as FilterSketch, encodes the second-order information of pre-trained weights, which enables the representation capacity of pruned networks to be recovered with a simple fine-tuning procedure. FilterSketch requires neither training from scratch nor data-driven iterative optimization, leading to a several-orders-of-magnitude reduction of time cost in the optimization of pruning. Experiments on CIFAR-10 show that FilterSketch reduces 63.3% of FLOPs and prunes 59.9% of network parameters with negligible accuracy cost for ResNet-110. On ILSVRC-2012, it reduces 45.5% of FLOPs and removes 43.0% of parameters with only 0.69% accuracy drop for ResNet-50. Our code and pruned models can be found at https://github.com/lmbxmu/FilterSketch.

研究の動機と目的

• 反復的最適化や再訓練から始めることを要する従来の構造的 prune 法の高い計算コストを低減すること。
• prune 時に事前学習済み重みから重要な2次情報（共分散）を保持することで、モデル圧縮効率を向上させること。
• 構造的 prune において、データ駆動の反復的手法や複雑な正則化スキームの必要性を排除すること。
• 情報保持型パラメータ初期化を用いることで、高い圧縮率を達成しながらモデル精度を維持すること。

提案手法

• 事前学習済みフィルタ重みの2次共分散を保持する目的で、ネットワーク prune を行列スケッチ問題として定式化する。
• 反復的最適化を回避するため、既存のFrequent Directionアルゴリズムを効率的に適用してスケッチを計算する。
• スケッチされたパラメータを微調整のためのウォームスタート初期化として使用し、迅速な性能回復を実現する。
• スケッチ処理中の数値安定性を向上させるために、Frobenius正規化を導入する。
• 標準的なCNN推論およびBLASライブラリと互換性を持つように、層ごとに構造的フィルタに適用する。
• 再訓練から始めることなく、データ依存の反復的最適化を排除することで、prune 時間を著しく短縮する。

実験結果

リサーチクエスチョン

• RQ1 反復的最適化を伴わずに、事前学習済みフィルタの2次共分散を保持することで、pruned モデルの精度を顕著に向上させられるか？
• RQ2 Frequent Directionを用いた行列スケッチは、反復的または正則化ベースの prune と比較して、速度と精度の面でどのように差をつけるか？
• RQ3 特に60%以上のパラメータ削減を伴う高圧縮率下でも、FilterSketchは性能をどの程度維持できるか？
• RQ4 Frobenius正規化を導入することで、スケッチ処理中の数値安定性と最終的な精度が向上するか？
• RQ5 FilterSketchの最適化時間は、ThiNet や CP などの最先端手法と比較してどの程度か？

主な発見

• FilterSketchは、CIFAR-10でResNet-110に対して63.3%のFLOPs削減と59.9%のパラメータ削減を達成し、精度低下はたった0.33%にとどまる。
• ILSVRC-2012では、FilterSketch-0.6がResNet-50でトップ1精度74.68%、トップ5精度92.17%を達成し、同程度の圧縮率における最先端手法を上回る性能を示した。
• GPU上での実行速度では、ResNet-110で1.57倍の実用的高速化を達成し、最適化時間はわずか1.06秒。これに対してThiNetは63,000秒以上を要した。
• 高圧縮率（60%以上）においても、FilterSketchは安定した性能を維持するが、L1 や GAL 手法は極端な精度低下を示す。
• Frobenius正規化を組み込むことで、複数のモデルで0.2–0.4%の精度向上が確認され、数値安定性への貢献が裏付けられた。
• 深層ネットワークであるResNet-110ですら、FilterSketchの最適化コストは2秒未満であり、反復的最適化手法と比較して数個のオーダー単位で大幅に短縮された。