[論文レビュー] Trainability Preserving Neural Pruning

Huan Wang, Yun Fu|arXiv (Cornell University)|Jul 25, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

本稿では、構造的 pruning のための Trainability Preserving Pruning (TPP) を提案する。TPP は、保持されたフィルタと削除されたフィルタの間の相関を低減するように、Gram 行列を正則化することでニューラルネットワークの学習可能性を維持する。また、バッチ正則化パラメータに対しても正則化を施す。TPP は、CIFAR-10/100 および ImageNet-1K で最先端の性能を達成し、特に高スパarsity条件下でも優れた性能を示し、線形ネットワークにおけるオラクル学習可能性回復と同等の性能を達成する。

ABSTRACT

Many recent works have shown trainability plays a central role in neural network pruning -- unattended broken trainability can lead to severe under-performance and unintentionally amplify the effect of retraining learning rate, resulting in biased (or even misinterpreted) benchmark results. This paper introduces trainability preserving pruning (TPP), a scalable method to preserve network trainability against pruning, aiming for improved pruning performance and being more robust to retraining hyper-parameters (e.g., learning rate). Specifically, we propose to penalize the gram matrix of convolutional filters to decorrelate the pruned filters from the retained filters. In addition to the convolutional layers, per the spirit of preserving the trainability of the whole network, we also propose to regularize the batch normalization parameters (scale and bias). Empirical studies on linear MLP networks show that TPP can perform on par with the oracle trainability recovery scheme. On nonlinear ConvNets (ResNet56/VGG19) on CIFAR10/100, TPP outperforms the other counterpart approaches by an obvious margin. Moreover, results on ImageNet-1K with ResNets suggest that TPP consistently performs more favorably against other top-performing structured pruning approaches. Code: https://github.com/MingSun-Tse/TPP.

研究の動機と目的

• 構造的ニューラルネットワーク pruning における学習可能性の低下という重要な問題に取り組む。これは、性能の低下とハイパーパramータの感受性を引き起こす。
• ResNet や VGG のような深層畳み込みネットワークでは、従来の pruning 法が学習可能性を維持できないという限界を克服する。
• 再訓練のヒューリスティクスに依存せずに、スケーラブルで正則化に基づくアプローチを考案し、フィルタ削除中も学習可能性を維持する。
• バッチ正則化パラメータの取り扱いを明示的に考慮する。これらのパラメータが無視されると、学習可能性が著しく損なわれるため。
• 線形ネットワークにおけるオラクル学習可能性回復と同等の性能を達成するとともに、非線形 ConvNets においても SOTA の手法を上回る性能を実現する。

提案手法

• 畳み込みフィルタの Gram 行列に対する新しい正則化を提案する。具体的には、削除されたフィルタと保持されたフィルタの間の相互相関を低減することで、依存性を低下させ、学習可能性を維持する。
• 従来の正規直交制約とは異なり、保持された（重要である）フィルタの自己相関を過剰にペナルティ化しない。これにより、最適化の劣化や局所最適解への陥落を回避できる。
• バッチ正則化（BN）のスケールおよびシフトパラメータに対する正則化項を導入する。これにより、pruning 時に BN レイヤーが削除された場合の性能低下を緩和できる。
• pre-pruning 階段で正則化を適用する。これにより、再訓練の前からも、pruned モデルが学習可能であることを保証する。
• 二段階の訓練プロセスを採用する：まず、pruned モデルに TPP 正則化を適用し、次に標準的な再訓練でファインチューニングを行う。
• Gram 行列の正則化を微分可能損失項として定式化し、削除されたフィルタと保持されたフィルタの間の相関をゼロに近づけるように促進する。

実験結果

リサーチクエスチョン

• RQ1 正則化に基づく pruning 法は、従来の手法が失敗する深層畳み込みネットワーク（例：ResNet や VGG）において、ネットワークの学習可能性を維持できるか？
• RQ2 削除されたフィルタと保持されたフィルタの間の相関を低減することで、最終的な精度と再訓練のハイパーパramータ（例：学習率）に対するロバストネスにどのような影響を与えるか？
• RQ3 構造的 pruning 時に、バッチ正則化パラメータが学習可能性の損失にどの程度寄与しているか。また、それらを明示的に正則化することで性能向上が図れるか？
• RQ4 提案手法は、ImageNet-1K のような大規模ベンチマークにおいて、既存の最先端の構造的 pruning 手法を上回る性能を発揮するか？
• RQ5 学習可能性の低下が最も顕著に現れる高スパarsity 条件下でも、本手法は効果を発揮するか？

主な発見

• CIFAR-10/100 の ResNet56 および VGG19 において、TPP は、マグニチュード pruning や他の正規直交性に基づく手法を含む、すべての比較ベースラインを上回る。特に高スパarsity 条件で顕著な優位性を示す。
• ImageNet-1K における ResNet50 で 2.31× のスピードアップを達成した場合、TPP は次に優れた手法よりもトップ-1 精度を 1.15% 向上させた。3.06× のスピードアップでは、2.87% の向上を達成した。
• 線形 MLP では、TPP はオラクル学習可能性回復方式と同等の性能を達成し、内在的な学習可能性の維持効果を実証した。
• アブレーションスタディにより、Gram 行列の正則化と BN パラメータの正則化の両方が不可欠であることが確認された。両方の正則化を欠如させると、特に高スパarsity 条件で性能が著しく低下する。
• 対角成分のみに制限するのではなく、相関の低減に基づく正則化が優れた結果をもたらす。特にスパarsity 比が 0.7 以上では顕著な向上が見られ、VGG19 では 0.7 の pruning 時に最大 3.5% の向上を記録した。
• ImageNet-1K において、TPP は複数の FLOP 水準で SOTA 手法 CHEX を上回り、極めて高い pruning 残差に対してもスケーラビリティとロバストネスを示した。