[論文レビュー] Sparse Double Descent: Where Network Pruning Aggravates Overfitting

Zheng He, Zeke Xie+2 more|arXiv (Cornell University)|Jun 17, 2022

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、ネットワークのプルーニングが一時的に過学習を悪化させ、その後改善し、極端なスパarsityでは最終的に性能を低下させるという、新しい「スパース・ダブルデセント」現象を紹介している。この現象は、学習距離（ℓ₂学習距離）—訓練中にモデル重みがどれだけ移動したかを測る指標—が、極小値の平坦性よりも一般化をよりよく予測できることを示唆している。この指標は、プルーニングされたモデルで観察される非単調なテスト精度曲線を説明できる。

ABSTRACT

People usually believe that network pruning not only reduces the computational cost of deep networks, but also prevents overfitting by decreasing model capacity. However, our work surprisingly discovers that network pruning sometimes even aggravates overfitting. We report an unexpected sparse double descent phenomenon that, as we increase model sparsity via network pruning, test performance first gets worse (due to overfitting), then gets better (due to relieved overfitting), and gets worse at last (due to forgetting useful information). While recent studies focused on the deep double descent with respect to model overparameterization, they failed to recognize that sparsity may also cause double descent. In this paper, we have three main contributions. First, we report the novel sparse double descent phenomenon through extensive experiments. Second, for this phenomenon, we propose a novel learning distance interpretation that the curve of $\ell_{2}$ learning distance of sparse models (from initialized parameters to final parameters) may correlate with the sparse double descent curve well and reflect generalization better than minima flatness. Third, in the context of sparse double descent, a winning ticket in the lottery ticket hypothesis surprisingly may not always win.

研究の動機と目的

• ネットワークプルーニングがモデルの一般化に与える影響を調査し、一般的にプルーニングは過学習を常に軽減するという考えを疑問視すること。
• 「スパース・ダブルデセント」という新しい現象を同定し、実証的に示すこと。この現象は、スパarsity下でのテスト精度が3段階の非単調な曲線（悪化 → 改善 → 再度悪化）を示すものである。
• ℓ₂学習距離を、極小値の平坦性よりも優れたスパースモデルの一般化指標として提案し、検証すること。
• スパース・ダブルデセントの文脈において、ロットリーチ・ハプティスの仮説を再評価し、元の初期化から再訓練した場合に、勝利チケット（winning tickets）が常に優れた性能を発揮するわけではないことを示すこと。

提案手法

• LeNet-300-100、ResNet-18といった複数のアーキテクチャと、MNIST、CIFAR-10、CIFAR-100といったデータセットを用い、ラベルノイズのレベルを変化させながら、マグニチュードベースのプルーニングによりスパarsityを段階的に増加させる。
• 最終重みと初期重みの差のL2ノルムとしてのℓ₂学習距離を測定・分析し、スパarsityレベルごとのテスト精度と相関を調べる。
• 微調整、学習率リウィンド、プルーニング後にランダム初期化から再訓練する戦略を比較し、一般化性能を評価する。
• スパースモデルと再密度化モデルの間で線形補間を行い、損失と精度の軌道を分析し、極小値の鋭さを評価する。
• フィルタ正規化を用いた可視化により、再密度化訓練状況における極小値の鋭さを損失ランドスケープで評価する。
• スパarsityレベルやノイズ率を変化させたアブレーションスタディを実施し、スパース・ダブルデセント曲線の堅牢性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ネットワークプルーニングは常に過学習を軽減するのだろうか？それとも、一般化を悪化させる場合があるのか？
• RQ2 モデルの過パラメータ化に起因するダブルデセントのような挙動が、スパarsityの増加に対しても現れるのだろうか？
• RQ3 スパースモデルにおいて、ℓ₂学習距離は異なるスパarsityレベルでのテスト性能とどの程度相関しているのか？
• RQ4 スパース・ダブルデセントの下で、ロットリーチ・ハプティスの仮説は成立するのか？それとも、ランダムに初期化されたプルーニング済みモデルが元の勝利チケットを上回る性能を示すことがあるのか？
• RQ5 極端なスパarsityレベルでの性能低下の原因は何か？情報の忘却とどのように関係しているのか？

主な発見

• 本稿では、テスト精度が中程度のスパarsityで一時的に低下（過学習によるもの）し、その後改善（過学習の軽減によるもの）し、最終的に極端なスパarsityで再び低下（情報損失によるもの）するという、新規の「スパース・ダブルデセント」現象を報告している。
• プルーニングされたモデルのℓ₂学習距離は、スパース・ダブルデセント曲線と強く相関しており、特に過学習段階において、極小値の平坦性よりも一般化をよりよく反映している。
• 中程度のスパarsityレベルでは、プルーニングされたモデルがより高い過学習を示し、テスト精度が著しく低下する。例えば、20%のラベルノイズ下では、密度モデルと比較して最大15–20%も低い精度を示す。
• ロットリーチ・ハプティスの仮説からの勝利チケットが、常に最良の一般化性能を示すわけではない。一部のケースでは、プルーニング後にランダム初期化から再訓練したモデルが、元の勝利チケットの初期化から再訓練したモデルを上回る性能を示す。
• プルーニング後にゼロ初期化された重みから再密度化訓練を行うと、特に高いスパarsityレベルでは鋭い極小値が得られる。これは1次元損失可視化で示されている。
• 学習距離は、スパース・ダブルデセントの「臨界段階」（過学習が最も深刻な段階）において、一般化を最も予測しやすく、これが、壊滅的過学習期における重み軌道のダイナミクスを捉えていると考えられる。