[論文レビュー] Pruning's Effect on Generalization Through the Lens of Training and Regularization

Tian Jin, Michael Carbin+3 more|arXiv (Cornell University)|Oct 25, 2022

Model Reduction and Neural Networks被引用数 5

ひとこと要約

この論文は、 pruning が一般化を向上させる要因がモデルサイズの削減に起因するという長年の仮説に挑戦する。実験的分析を通じて、pruning の一般化向上の主な要因はモデルサイズの削減ではなく、延長された訓練時間と追加の正則化効果であることが示された。特に過パラメータ化されたモデルでは、より大きなモデルが一般的に一般化性能を向上させる傾向にあるため、この傾向が顕著である。

ABSTRACT

Practitioners frequently observe that pruning improves model generalization. A long-standing hypothesis based on bias-variance trade-off attributes this generalization improvement to model size reduction. However, recent studies on over-parameterization characterize a new model size regime, in which larger models achieve better generalization. Pruning models in this over-parameterized regime leads to a contradiction -- while theory predicts that reducing model size harms generalization, pruning to a range of sparsities nonetheless improves it. Motivated by this contradiction, we re-examine pruning's effect on generalization empirically. We show that size reduction cannot fully account for the generalization-improving effect of standard pruning algorithms. Instead, we find that pruning leads to better training at specific sparsities, improving the training loss over the dense model. We find that pruning also leads to additional regularization at other sparsities, reducing the accuracy degradation due to noisy examples over the dense model. Pruning extends model training time and reduces model size. These two factors improve training and add regularization respectively. We empirically demonstrate that both factors are essential to fully explaining pruning's impact on generalization.

研究の動機と目的

• 過パラメータ化された領域において、古典的なバイアス・バリアンス理論に反するにもかかわらず、pruning がなぜ一般化を向上させるのかを調査すること。
• 現代のディープラーニングモデルにおいて、pruning の一般化向上が単にモデルサイズの削減に起因するのかを検証すること。
• pruning に起因する一般化向上の要因としての訓練時間と正則化の寄与を分離すること。
• 再訓練と重み削除の役割が、構造的変更を超えてモデルの一般化に与える影響を評価すること。
• pruning の利点が容量の削減によるものではなく、訓練ダイナミクスと正則化効果によるものであるという実証的証拠を提供すること。

提案手法

• pruning を施したモデルと、pruning の訓練スケジュールとエポック数を再現するがすべての重みを保持する「拡張訓練」モデルを比較した。
• 周期的学習率スケジュールと延長された訓練時間を使って、訓練時間の影響を分離した。
• EL2Nスコアを用いてノイズのある例での訓練損失の差を測定し、正則化効果を評価した。
• 重み削除のヒューリスティック（絶対値、SynFlow、ランダム）を異なる条件で使用して、一般化に与える影響を評価した。
• スパースモデルが正しく予測するデータのサブセットでモデルを訓練し、密度の高いモデルと一般化性能を比較した。
• さまざまなノイズレベルでのスパースモデルと密度モデルの損失差を分析し、正則化の恩恵を定量化した。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化されたモデルにおいて、モデルサイズの削減が pruning の一般化向上を完全に説明できるか？
• RQ2 重み削除と比較して、延長された訓練時間は、pruning の一般化向上にどの程度寄与しているか？
• RQ3 pruning はノイズのある例での訓練損失にどのような影響を与え、これは追加の正則化を示唆するか？
• RQ4 同じスケジュールと期間で訓練された密度モデルによって、pruning による一般化向上を再現できるか？
• RQ5 異なる重み選択ヒューリスティック（例：絶対値、SynFlow）は、pruning に起因する正則化と一般化にどの程度寄与するか？

主な発見

• pruning による一般化向上は、モデルサイズの削減によるものではなく、重み削除なしに同じスケジュールと期間で訓練されたモデルが同等のテスト精度を達成することから明らかである。
• 低スパarsity（例：残存重み15％）では、pruning を施したモデルが密度モデルよりも訓練損失を低く抑え、訓練中の最適化が改善されていることを示している。
• 高スパarsity（例：残存重み60％）では、pruning を施したモデルは訓練損失を増加させるが、影響力のある例での劣化が減少しており、正則化の強化を示している。
• 延長された訓練時間と正則化効果の組み合わせ、特にノイズのある例に対する効果が、pruning の一般化向上の大部分を説明している。
• 重み削除を無効化した場合でも、pruning と同じ周期的学習率とエポック数で訓練されたモデルは類似した一般化性能を示し、訓練ダイナミクスがこの効果の中心に位置していることを証明している。
• 訓練時間とスケジュールを一定に保った場合、重み選択ヒューリスティック（例：絶対値、SynFlow）は一般化向上にほとんど影響を及ぼさないため、この効果はアーキテクチャサイズとは明確に分離されている。