[論文レビュー] Structured Pruning for Efficient ConvNets via Incremental Regularization

Huan Wang, Qiming Zhang+2 more|arXiv (Cornell University)|Nov 20, 2018

Advanced Neural Network Applications参考文献 38被引用数 8

ひとこと要約

本稿では、重要な重みグループに対して徐々に正則化係数を増加させるインクリメンタル正則化を用いる構造的プルーニング手法IncRegを提案する。この手法により、プルーニング中のネットワークの適応性が向上し、CIFAR-10およびImageNetベンチマークで最先端の精度とスループット向上を達成する。特に高比率のプルーニングおよびResNet-50のようなコンパクトなネットワークにおいて顕著な効果を示す。

ABSTRACT

Parameter pruning is a promising approach for CNN compression and acceleration by eliminating redundant model parameters with tolerable performance loss. Despite its effectiveness, existing regularization-based parameter pruning methods usually drive weights towards zero with large and constant regularization factors, which neglects the fact that the expressiveness of CNNs is fragile and needs a more gentle way of regularization for the networks to adapt during pruning. To solve this problem, we propose a new regularization-based pruning method (named IncReg) to incrementally assign different regularization factors to different weight groups based on their relative importance, whose effectiveness is proved on popular CNNs compared with state-of-the-art methods.

研究の動機と目的

• 構造的プルーニングにおけるCNN表現力の脆さを回避するため、急激な正則化ペナルティを避けること。
• 既存のグループ正則化手法における定数の正則化係数の限界を克服し、すべての重みグループに等しい重要性を仮定するのを避けること。
• 徐々で重要性に配慮した正則化を可能にすることで、特に高比率プルーニングおよびコンパクトなネットワークにおけるプルーニング性能を向上させること。
• 構造的スパarsityを介して顕著なスループット向上を達成しながらも、高い精度を維持する手法を開発すること。
• 重みグループの重要性に基づいて動的に正則化を調整することで、より適応的で安定したプルーニングプロセスを実現すること。

提案手法

• 各重みグループに対する正則化係数λgを訓練ステップに応じて段階的に増加させるインクリメンタル正則化スキームを導入する。
• 相対的重要な順位に基づいて、異なる正則化増分Δλgを割り当てるための区分線形ペナルティ関数を用いる。より上位（重要度が高い）グループには負の増分（つまり、正則化の減少）が割り当てられる。
• 重要度は、反復回数にわたる時間平均L1ノルム順位により測定され、プルーニングプロセスの安定性が保証される。
• 正則化形式は重み減衰（L2）であるが、主な革新点は固定されたグローバルλではなく、グループ固有の動的λg値にあり。
• プルーニングはすべての畳み込み層に対して一度の同時パスで実行され、重みの大きさが1e-6未満に下がった時点で削除される。
• 本手法は量子化や知識蒸留などの他の圧縮技術と直交しており、それらと組み合わせて使用可能である。

実験結果

リサーチクエスチョン

• RQ1 定数正則化スキームと比較して、インクリメンタルで重要度に基づいた正則化は、構造的プルーニング性能を向上させるか？
• RQ2 正則化係数を動的に調整することで、特にResNet-50のようなコンパクトアーキテクチャにおいて、高比率プルーニング時のネットワーク表現力を維持できるか？
• RQ3 穏やかで段階的な正則化戦略は、構造的プルーニング中の性能劣化を軽減し、高いスループット向上を実現できるか？
• RQ4 AFP や SPP といった最先端の構造的プルーニングベースラインと比較して、提案手法は異なるプルーニング比において精度とスループット向上の両面で優れているか？
• RQ5 提案手法は、VGG-16 や ResNet-50 といった多様なネットワークアーキテクチャにおいて、安定的かつ一貫した性能を維持できるか？

主な発見

• CIFAR-10では、IncRegは行スパarsityで4.1×のスループット向上と79.2%のtop-5精度を達成し、AFPやSSLを上回った。列スパarsityでは4.6×のスループット向上と81.2%の精度を達成した。
• 高比率プルーニング（9.9×スループット向上）では、VGG-16で76.0%のtop-5精度を達成し、AFP（73.4%）やSPP（75.2%）を大きく上回った。
• ResNet-50では、10.0×スループット向上で78.7%のtop-5精度を達成し、CP、SPP、AFPを上回った。これは、コンパクトなネットワークでも有効であることを示している。
• VGG-16における推論時間評価では、CPUで4.4×のスループット向上（409ms）とGPUで2.6×のスループット向上（1.991ms）を達成し、ベースラインと比較して誤差が0.1%しか増加しなかった。
• ImageNetでは5×スループット向上時、誤差増加が0.1%にとどまり、AFPの1.5%やCPの1.7%を大きく下回った。これは、優れた精度保持性能を示している。
• インクリメンタル正則化スキームにより、特に大規模なプルーニング比下でも、重要重みへの初期の正則化圧力を軽減でき、ネットワークの適応性が向上した。