[論文レビュー] More is Better in Modern Machine Learning: when Infinite Overparameterization is Optimal and Overfitting is Obligatory

James B. Simon, Dhruva Karkada+2 more|arXiv (Cornell University)|Nov 24, 2023

Machine Learning and Data Classification被引用数 5

ひとこと要約

この論文は、過パラメータ化された深層学習の経験的成功の理論的裏付けを提供し、ランダム特徴量回帰において、モデル幅と訓練データサイズを増加させるとテスト誤差が単調に減少することを示している。無限大の幅が最適である。さらに、実際のビジョンタスクで一般的なべき乗則固有値構造を示すタスクでは、最適な性能を達成するには近似的にゼロの訓練誤差が必要であり、過学習が単なる許容範囲ではなく、必然的であることを示している。

ABSTRACT

In our era of enormous neural networks, empirical progress has been driven by the philosophy that more is better. Recent deep learning practice has found repeatedly that larger model size, more data, and more computation (resulting in lower training loss) improves performance. In this paper, we give theoretical backing to these empirical observations by showing that these three properties hold in random feature (RF) regression, a class of models equivalent to shallow networks with only the last layer trained. Concretely, we first show that the test risk of RF regression decreases monotonically with both the number of features and the number of samples, provided the ridge penalty is tuned optimally. In particular, this implies that infinite width RF architectures are preferable to those of any finite width. We then proceed to demonstrate that, for a large class of tasks characterized by powerlaw eigenstructure, training to near-zero training loss is obligatory: near-optimal performance can only be achieved when the training error is much smaller than the test error. Grounding our theory in real-world data, we find empirically that standard computer vision tasks with convolutional neural tangent kernels clearly fall into this class. Taken together, our results tell a simple, testable story of the benefits of overparameterization, overfitting, and more data in random feature models.

研究の動機と目的

• より大きなモデル、より多くのデータ、より低い訓練損失が性能を向上させるという深層学習における経験的傾向を理論的に正当化すること。
• 過パラメータ化され、正則化が不十分なモデルが実際には古典的で正則化されたモデルを上回るというパラドックスを解明すること。
• 最適な一般化を達成するには訓練誤差をほぼゼロに近づける必要がある、広範な学習タスクのクラスを同定すること。この場合、過学習は欠陥ではなく、必要不可欠である。
• 標準的なコンピュータビジョンタスクが、無限大の過パラメータ化と近似的にゼロの訓練誤差が最適である条件を満たすべき乗則固有値構造を示すことを実証することで、理論的知見と現実世界の深層学習を結びつけること。

提案手法

• 最後の層のみを学習させる浅いニューラルネットワークの代理として、ランダム特徴量（RF）回帰を分析する。
• 特にリッジ正則化を用いた場合、タスクの固有構造に基づいて訓練誤差とテスト誤差の閉形式表現を導出する。
• ガウス複雑度とカーネルリッジ回帰（KRR）理論を用いて、高次元かつ過パラメータ化された状態における一般化誤差を特徴付ける。
• 「必然的過学習」の概念を導入する。これは、最適なテスト誤差が、テスト誤差よりもはるかに小さい訓練誤差が達成された場合にのみ実現可能であることを意味する。
• 漸近的解析を用いて、最適な正則化のもとで、モデル幅とサンプルサイズの増加に伴いテストリスクが単調に減少することを示す。
• 標準的なビジョンベンチマークにおける畳み込みニューラルトランジットカーネルの固有構造を実証的に分析することで、理論的予測を検証する。

Figure 1: At optimal ridge, more features monotonically improves test performance. Train and test errors for RF regression closely match Equations 3 and 4 for both synthetic Gaussian data and CIFAR10 with random ReLU features. Plots show traces with $n=256$ samples and varying number of features $k$

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化されたモデルにおいて、モデル幅と訓練データサイズを増加させると、常にテスト誤差が改善されるのか？
• RQ2 どのような条件下で、過学習が単なる耐容範囲ではなく、最適な一般化のための必要条件となるのか？
• RQ3 深層学習における「より良いものがより良い」という現象が、広範な学習タスクのクラスにおいて理論的に正当化可能か？
• RQ4 現実世界のコンピュータビジョンタスクは、無限大の過パラメータ化と近似的にゼロの訓練誤差が最適である条件を満たす固有値構造を示しているか？
• RQ5 最適なパフォーマンスに必要な観点から、「良性過学習」と「必然的過学習」の理論的差異はあるか？

主な発見

• ランダム特徴量回帰において、リッジ正則化を最適に調整した場合、特徴量の数と訓練サンプル数の両方を増加させると、テストリスクは単調に減少し、無限大の幅が最適であることを示唆する。
• 固有値がべき乗則に従って減少する（べき乗則固有値構造）タスクでは、最適な一般化を達成するには訓練誤差がテスト誤差よりもはるかに小さくなければならない。このため、過学習は必然的である。
• 最適なフィッティング比（訓練誤差 / テスト誤差）は、モデル幅が増加するにつれてゼロに近づく。これは、このタスククラスにおいて、補間が単に無害であるのではなく、最適パフォーマンスを達成するための必要不可欠であることを示している。
• 標準的なビジョンタスクにおける畳み込みニューラルトランジットカーネルの実証的分析により、べき乗則固有値構造が確認され、無限大の過パラメータ化と近似的にゼロの訓練誤差が最適である理論的条件が実証された。
• 閉形式の誤差推定（カーネル固有値とガウス複雑度に基づく）と、べき乗則指数に関する弱い仮定のもとでの厳密な漸近的バウンドを用いて、理論的結果が導出された。
• 解析により、過パラメータ化の利点が漸近的であるのではなく、即時的であることが示された。有限だが大きな幅ですら、より小さい幅を上回り、その改善は幅とデータサイズの両方に関して単調に進行する。

Figure 2: Overfitting is obligatory in standard computer vision tasks. We run KRR with convolutional NTKs on three tasks using varying ridge parameter and label noise, measuring test error and the fitting ratio $\mathcal{R}_{\textnormal{tr}/\textnormal{te}}$ . We then compare to theoretical predicti