[論文レビュー] The Generalization-Stability Tradeoff In Neural Network Pruning

Brian R. Bartoldson, Ari S. Morcos+2 more|arXiv (Cornell University)|Jun 9, 2019

Neural Networks and Applications参考文献 67被引用数 30

ひとこと要約

この論文は、ニューラルネットワークのスプライシングにおける一般化性能と安定性のトレードオフを明らかにしている。より低いスプライシング安定性—つまり、スプライシング直後のテスト精度の低下—は、より優れた一般化性能をもたらす。著者らは、スプライシングがノイズ注入に似ており、恒久的なパラメータ削除とは独立してモデルの平坦性を高め、一般化性能を向上させることを示した。これは、過パラメータ化されたネットワークにおいてスプライシングがなぜ一般化性能を向上させるのかというパラドックスを解消する。

ABSTRACT

Pruning neural network parameters is often viewed as a means to compress models, but pruning has also been motivated by the desire to prevent overfitting. This motivation is particularly relevant given the perhaps surprising observation that a wide variety of pruning approaches increase test accuracy despite sometimes massive reductions in parameter counts. To better understand this phenomenon, we analyze the behavior of pruning over the course of training, finding that pruning's benefit to generalization increases with pruning's instability (defined as the drop in test accuracy immediately following pruning). We demonstrate that this "generalization-stability tradeoff" is present across a wide variety of pruning settings and propose a mechanism for its cause: pruning regularizes similarly to noise injection. Supporting this, we find less pruning stability leads to more model flatness and the benefits of pruning do not depend on permanent parameter removal. These results explain the compatibility of pruning-based generalization improvements and the high generalization recently observed in overparameterized networks.

研究の動機と目的

• 過パラメータ化されたネットワークが高一般化性能を示すのにもかかわらず、スプライシングがそのさらなる向上を可能にすることの明らかな矛盾を解消すること。
• スプライシングによる一般化性能の向上が、パラメータ数の削減に起因するのか、それとも正則化効果に起因するのかを調査すること。
• スプライシングの不安定性がモデルの平坦性および一般化性能に与える影響を検討すること。
• スプライシングによる一般化性能の向上が、訓練後に削除された重みを復元しても持続するかどうかをテストし、恒久的な削除が必須であるという仮定に疑問を呈すること。

提案手法

• 著者らは、スプライシングの不安定性を、スプライシング直前のテスト精度と直後のテスト精度の相対的低下として定義している：不安定性 = (t_pre - t_post) / t_pre。
• スプライシングのハイパーパrameter（例：スプライシング割合、タイミング、マグニチュードの閾値）を変化させることで、多様な不安定性レベルと一般化性能を生成した。
• ヘッセ行列に基づく測定と摂動解析を用いて、スプライシングの不安定性とモデルの平坦性の相関関係を評価した。
• CIFAR-10およびCIFAR-100でのテスト精度を用いて、安定的スプライシングと不安定的スプライシングで訓練されたモデルを比較することで、一般化性能を評価した。
• スプライシング後に重みを再活性化するアブレーション実験を実施し、恒久的なパララメータ削除の必要性を検証した。
• 一般化ギャップを推定するために、ヘッセ行列のトレースと曲率行列のトレースに基づくTakeuchi情報基準（TIC）の代理指標を用いた。

実験結果

リサーチクエスチョン

• RQ1 スプライシングによる一般化性能の向上は、パラメータ数の削減ではなく、正則化効果によるものなのか？
• RQ2 スプライシングの安定性とモデルの一般化性能の間にトレードオフがあるのか？
• RQ3 スプライシングによる一般化性能の向上は、訓練後に削除された重みを復元しても持続するのか？
• RQ4 スプライシングはどの程度モデルの平坦性を向上させ、その平坦性の向上が一般化性能の向上と関連しているのか？
• RQ5 異なるデータセットおよびアーキテクチャにおいて、スプライシングの不安定性は平坦性測定値および一般化性能とどのように相関しているのか？

主な発見

• 低いスプライシング安定性は、より優れた一般化性能と強く相関しており、Prune LはCIFAR-100で73.41%のテスト精度を達成したのに対し、Prune Sは73.22%にとどまったが、安定性は低かった。
• 一般化性能と安定性のトレードオフは、CIFAR-100を含む複数のデータセットで成立しており、小さなデータセットに起因するアーティファクトではないことが示された。
• 訓練後にスプライシングされた重みを復元しても、一般化性能の向上が維持されることから、恒久的なパラメータ削除が一般化性能の向上に不可欠であるとは限らないことが証明された。
• スプライシングの不安定性は、ヘッセ固有ベクトルの摂動および重みの摂動による損失増加を用いた平坦性測定と負の相関関係にあった。
• Tr(C)/Tr(H)に基づくTICの代理指標は、一般化性能を予測でき、低い安定性がより優れた一般化性能をもたらすことを確認した。
• 結果は、スプライシングがノイズ注入に類似した正則化効果を示すという仮説を支持しており、不安定性が表現レベルのノイズを導入し、平坦な最小値を促進するものである。