[論文レビュー] On Optimal Early Stopping: Over-informative versus Under-informative Parametrization

Ruoqi Shen, Liyao Gao+1 more|arXiv (Cornell University)|Feb 20, 2022

Stochastic Gradient Optimization Techniques被引用数 7

ひとこと要約

この論文は、モデル次元数 > 特徴量数の状況（過情報的パラメータ化）とそれより少ない状況（情報不足的パラメータ化）を区別する理論的枠組みを導入することで、ニューラルネットワークにおける最適な早期停止を調査している。過情報的状況（深層学習で一般的）では、モデルサイズが大きくなるほど最適な早期停止時刻が短縮されることを示しており、これは従来の理論と矛盾するが、CIFAR や MNIST におけるラベルノイズ付き ResNet の訓練で観察される経験的事実と整合的である。

ABSTRACT

Early stopping is a simple and widely used method to prevent over-training neural networks. We develop theoretical results to reveal the relationship between the optimal early stopping time and model dimension as well as sample size of the dataset for certain linear models. Our results demonstrate two very different behaviors when the model dimension exceeds the number of features versus the opposite scenario. While most previous works on linear models focus on the latter setting, we observe that the dimension of the model often exceeds the number of features arising from data in common deep learning tasks and propose a model to study this setting. We demonstrate experimentally that our theoretical results on optimal early stopping time corresponds to the training process of deep neural networks.

研究の動機と目的

• 深層ニューラルネットワークにおける早期停止の理論的予測と経験的観察の間にある乖離を解消すること。
• モデル次元数が特徴量数を上回る状況（過情報的パラメータ化）における最適な早期停止時刻を説明する理論的枠組みを構築すること。
• 従来の情報不足的モデルとは異なり、過情報的パラメータ化が現実の深層学習状況をより適切に反映していることを示すこと。
• 実際の訓練で観察されるモデル幅の増大に伴う最適な早期停止時刻の短縮を理論的および経験的に裏付けること。

提案手法

• 特徴量数よりパラメータ数が多い線形モデルの新しい理論的モデルを提案し、これを過情報的パラメータ化と定義する。
• モデル次元数 d とサンプルサイズ n の観点から最適な早期停止時刻を分析し、ガウス分布入力の仮定の下で漸近的挙動を導出する。
• 理論的予測を実験的に検証するために、2層ReLUネットワークと簡略化されたResNetアーキテクチャを用いる。
• CIFAR-10/100およびMNISTで、制御されたラベルノイズ（10%、20%、30%）を用い、交差エントロピー損失と標準的なデータオーグメンテーションを伴う確率的勾配降下法を採用する。
• テストリスクが最小となるエポックを最適な早期停止時刻として測定し、モデル幅と深さの違いを比較する。
• 各設定で10回の独立実験を実施し、経験的境界を生成し、分散を評価する。

実験結果

リサーチクエスチョン

• RQ1 過情報的パラメータ化において、最適な早期停止時刻はモデルサイズ d とサンプルサイズ n に対してどのようにスケーリングされるか？
• RQ2 実際の訓練ではモデル幅が大きくなると最適な早期停止時刻が短縮されるが、これは従来の理論的モデルとは逆である。なぜこのような現象が生じるのか？
• RQ3 過情報的パラメータ化と情報不足的パラメータ化の両設定において、最適な早期停止の挙動はどのように異なるか？
• RQ4 理論的予測が、深層ニューラルネットワークの経験的訓練ダイナミクスとどの程度一致するか？
• RQ5 ラベルノイズは、異なるモデル幅と深さにおいて最適な早期停止時刻にどのように影響を与えるか？

主な発見

• 過情報的パラメータ化（d > p）では、モデル幅 d が大きくなると最適な早期停止時刻が短縮され、ResNet や2層ReLUネットワークにおける経験的事実と整合的である。
• 情報不足的パラメータ化（d ≤ p）では、モデルサイズ d とサンプルサイズ n の両方が大きくなると最適な早期停止時刻が延長され、従来の理論的研究と一致する。
• 過情報的モデルでは、最適な早期停止時のテストリスクはサンプルサイズ n が大きくなるに従い低下し、より多くのデータで一般化性能が向上することを示している。
• 情報不足的モデルでは、最適な早期停止時のテストリスクはモデルサイズ d とサンプルサイズ n の両方が大きくなるに従い低下する。
• ラベルノイズ20%のCIFAR-100における経験的結果から、モデル幅が大きくなると最適な早期停止時刻が短縮され、過情報的設定の理論的予測と一致している。
• モデル幅をスケーリングしながらResNetの深さを4から6に増加させた場合、最適な早期停止時刻に顕著な短縮が観察され、この傾向がアーキテクチャの深さにわたり成立することを確認した。