[論文レビュー] Revisiting Loss Modelling for Unstructured Pruning

César Laurent, Camille Ballas+3 more|arXiv (Cornell University)|Jun 22, 2020

Advanced Neural Network Applications参考文献 36被引用数 6

ひとこと要約

この論文は、非構造的ニューラルネットワーク prune における損失関数のモデリングを再検討し、損失の地形の線形および2次 Taylor 展開の近似を比較する。反復的 prune とステップサイズ正則化による局所性の強制が性能向上に寄与することを示し、損失の保存が良い fine-tuned 精度を保証するとは限らないこと—つまり、損失変化の最小化が有効な prune 準拠の十分条件であるという仮定に疑問を呈する。

ABSTRACT

By removing parameters from deep neural networks, unstructured pruning methods aim at cutting down memory footprint and computational cost, while maintaining prediction accuracy. In order to tackle this otherwise intractable problem, many of these methods model the loss landscape using first or second order Taylor expansions to identify which parameters can be discarded. We revisit loss modelling for unstructured pruning: we show the importance of ensuring locality of the pruning steps. We systematically compare first and second order Taylor expansions and empirically show that both can reach similar levels of performance. Finally, we show that better preserving the original network function does not necessarily transfer to better performing networks after fine-tuning, suggesting that only considering the impact of pruning on the loss might not be a sufficient objective to design good pruning criteria.

研究の動機と目的

• 非構造的 prune における損失モデリングの役割を再評価すること、特に1次および2次 Taylor 展開の使用について。
• prune ステップにおける局所性を強制することで、prune 準拠の質がどのように向上するかを調査すること。
• prune 中に訓練損失を保存することが、fine-tuned モデル性能の向上と相関するかどうかを評価すること。
• 勾配項を含む2次モデルが、OBD/OBS に必要な収束仮定を緩和できるかどうかを特定すること。
• より単純な線形モデルが、より複雑な2次モデルに比べて低い計算コストで同等の性能を達成できるかどうかを評価すること。

提案手法

• 収束した重みの周囲における損失関数の1次（線形）および2次（2次）Taylor 展開に基づく prune 準拠を提案する。
• OBD/OBS の収束仮定に依存しないように、勾配項を保持する修正された2次モデルを導入する。
• 反復的 prune とステップサイズ正則化を用いて、パrameter 空間における局所性を強制し、近似の精度を向上させる。
• 複数のモデル間での prune 性能を比較：マグニチュード prune（MP）、OBD、OBS、および提案された線形および2次モデル。
• ハイパーパramータ探索と fine-tuning を用いて一般化性能を評価し、fine-tuning 後の検証誤差の差を測定する。
• Spearman の順位相関を用いて、損失保存と fine-tuned 性能との関係を評価する。

実験結果

リサーチクエスチョン

• RQ1 反復的 prune とステップサイズ正則化による局所性の強制は、損失に基づく prune 準拠の有効性を向上させるか？
• RQ2 1次 Taylor 近似（線形モデル）は、2次近似（2次モデル）と同等の性能を非構造的 prune で達成できるか？
• RQ3 prune 中に訓練損失の変化を最小化することは、fine-tuned モデル精度の向上と相関するか？
• RQ4 2次モデルの勾配項は、各 prune ステップ後の fine-tuning の必要性を排除し、OBD/OBS の収束仮定を緩和できるか？
• RQ5 損失関数の保存は、有効な prune 準拠を設計するための十分な目的であるか、それとも他の要因（例：fine-tuning のダイナミクス）がより重要であるか？

主な発見

• 線形および2次損失モデルの両方が、訓練損失の保存において同等の性能を示し、線形モデルは計算コストが低くなる。
• 反復的 prune とステップサイズ正則化による局所性の強制は、prune 準拠の質を顕著に向上させる。
• 勾配項を保持する修正された2次モデルは、収束仮定への依存を低減し、fine-tuning を伴わない直接的な prune を可能にする。
• prune 後の損失変化の大きさと、fine-tuning 後の検証誤差の差との間に弱い相関しかなく、損失保存だけでは良好な性能を保証できないことが示された。
• fine-tuning は、MP と最良の2次モデルとの間の初期の損失差を急速に消去するため、最適化のダイナミクスが post-prune 性能を支配することが示唆された。
• 結果は、損失変化の最小化が prune の主な目的であるという仮定に疑問を呈し、今後の準拠は fine-tuning のダイナミクスを考慮すべきであることを示唆している。