[論文レビュー] Structured Deep Neural Network Pruning by Varying Regularization Parameters.

Huan Wang, Qiming Zhang+2 more|arXiv (Cornell University)|Apr 25, 2018

Advanced Neural Network Applications被引用数 7

ひとこと要約

本稿では、各重みの重要度に応じて動的に正則化パラメータを割り当てる構造的で深いニューラルネットワークのプルーニング手法を提案する。重みごとに正則化を適応させることで、AlexNetおよびVGG-16で4倍の高速化を達成し、精度損失を最小限に抑え、ResNet-50では2倍の加速を実現し、トップ5精度が0.1%しか低下しない。

ABSTRACT

Convolutional Neural Networks (CNN's) are restricted by their massive computation and high storage. Parameter pruning is a promising approach for CNN compression and acceleration, which aims at eliminating redundant model parameters with tolerable performance loss. Despite its effectiveness, existing regularization-based parameter pruning methods usually assign a fixed regularization parameter to all weights, which neglects the fact that different weights may have different importance to CNN. To solve this problem, we propose a theoretically sound regularization-based pruning method to incrementally assign different regularization parameters to different weights based on their importance to the network. On AlexNet and VGG-16, our method can achieve 4x theoretical speedup with similar accuracies compared with the baselines. For ResNet-50, the proposed method also achieves 2x acceleration and only suffers 0.1% top-5 accuracy loss.

研究の動機と目的

• 従来のプルーニング手法における固定正則化パラメータの限界に対処すること。これは、深層ネットワーク内での重みの重要度のばらつきを考慮できないためである。
• 各重みのネットワーク性能への寄与度に基づき、段階的に正則化値を割り当てる理論的根拠に基づいたプルーニング手法の開発。
• さまざまなCNNアーキテクチャ（例：AlexNet、VGG-16、ResNet-50）において、高い精度を維持したまま顕著なモデル圧縮と高速化を達成すること。
• 層ごとの接続性と計算効率を保ちながら、モデル構造を維持する構造的プルーニングを可能にすること。

提案手法

• 本手法は、重みの重要度に応じて正則化パラメータを個別に割り当てる動的正則化スキームを導入する。
• 重要度は、損失関数の曲面と重みの感度の理論的関係を分析することで推定され、重要なパラメータを優先的に保持する。
• 訓練中に正則化パラメータを段階的に調整し、重要度の高い重みの保持を促進するとともに、不要な重みのプルーニングを促進する。
• 構造的プルーニングを用いることで、層ごとの接続性と計算効率を維持し、非構造的スパarsityを回避する。
• 標準的なバックプロパゲーションと最適化と統合可能であり、適応的正則化を伴うエンドツーエンドの訓練が可能。
• 正則化割り当てのガイドとして、マグニチュードベースと勾配ベースの両方の重要度推定をサポートする。

実験結果

リサーチクエスチョン

• RQ1 重みごとに正則化パラメータを変化させることで、固定正則化と比較してCNNにおけるプルーニング効率がどのように向上するか？
• RQ2 重要度に配慮した正則化が、さまざまなアーキテクチャにおけるモデル精度と推論速度に与える影響は何か？
• RQ3 動的正則化割り当ては、高い圧縮率を達成しつつ精度損失を最小限に抑える構造的プルーニングを可能にするか？
• RQ4 性能を維持したまま、ResNet-50のようなより深いネットワークへのスケーリングはどの程度可能か？
• RQ5 提案された動的正則化スキーム下で、プルーニング比、高速化率、精度損失のトレードオフはどのようなものか？

主な発見

• 提案手法は、AlexNetおよびVGG-16で理論的4倍の高速化を達成し、ベースライン手法と同等の精度を維持した。
• ResNet-50では、2倍の加速を達成し、トップ5精度がたった0.1%しか低下しなかった。これは、優れた一般化性能を示している。
• 動的正則化アプローチは、固定パラメータ手法に比べて、プルーニング中のモデル精度の維持において顕著に優れている。
• 本手法は、計算効率とモデル構造を維持する構造的プルーニングを可能にした。
• 重要度に基づく正則化割り当てにより、性能を劣化させることなく、冗長パラメータをより効果的に削除できた。
• 本手法は、AlexNet、VGG-16、ResNet-50を含む多様なCNNアーキテクチャにスケーラブルかつ効果的である。