[論文レビュー] From Tempered to Benign Overfitting in ReLU Neural Networks

Guy Kornowski, Gilad Yehudai+1 more|arXiv (Cornell University)|May 24, 2023

Machine Learning and Data ClassificationComputer Science被引用数 3

ひとこと要約

本稿は、ノイズのあるデータ上で学習される2層ReLUニューラルネットワークにおける、tempered overfittingからbenign overfittingへの遷移を理論的に調査する。入力次元が過剰適合のタイプを決定づけることが示された：低次元では過剰適合はtemperedである（例：d=1）が、次元が増加すると過剰適合はbenignに移行し、標準的な仮定の下で高次元ではクリーンなテスト誤差がゼロに減少する。

ABSTRACT

Overparameterized neural networks (NNs) are observed to generalize well even when trained to perfectly fit noisy data. This phenomenon motivated a large body of work on "benign overfitting", where interpolating predictors achieve near-optimal performance. Recently, it was conjectured and empirically observed that the behavior of NNs is often better described as "tempered overfitting", where the performance is non-optimal yet also non-trivial, and degrades as a function of the noise level. However, a theoretical justification of this claim for non-linear NNs has been lacking so far. In this work, we provide several results that aim at bridging these complementing views. We study a simple classification setting with 2-layer ReLU NNs, and prove that under various assumptions, the type of overfitting transitions from tempered in the extreme case of one-dimensional data, to benign in high dimensions. Thus, we show that the input dimension has a crucial role on the type of overfitting in this setting, which we also validate empirically for intermediate dimensions. Overall, our results shed light on the intricate connections between the dimension, sample size, architecture and training algorithm on the one hand, and the type of resulting overfitting on the other hand.

研究の動機と目的

• 非線形設定におけるニューラルネットワークがtempered過剰適合かbenign過剰適合を示すかという理論的ギャップを解消すること。
• 入力次元、サンプルサイズ、アーキテクチャが、ノイズのあるデータ上で学習されるReLUネットワークにおける過剰適合のタイプに与える影響を調査すること。
• 単位球面上に一様に分布する入力を持つシンプルな二値分類設定における過剰適合行動の厳密な特徴付けを提供すること。
• 補間可能なReLUネットワークがtempered overfittingではなくbenign overfittingを達成するための条件を確立すること。

提案手法

• ラベルノイズを伴う二値分類問題に対して、指数的尾部損失で学習される2層ReLUニューラルネットワークを分析する。
• 既知のインクリードバイアス結果を活用し、max-margin問題のKKT点への収束を介して学習ダイナミクスをモデル化する。
• 幾何確率を用いて、単位球面上のテスト誤差を評価し、特にネットワークが誤分類する入力の割合に注目する。
• 高次元球における集中不等式（例：補題D.1およびD.2）を適用し、ネットワーク重みとデータポイントとの整合性を分析する。
• ランダムな入力が意思決定境界の反対側にある確率を分析することで、クリーンなテスト誤差の境界を導出する。
• 高次元では、誤分類確率が負例の数に関して指数関数的に減少することを示し、これによりbenign overfittingが成立することを確立する。

実験結果

リサーチクエスチョン

• RQ1 入力次元が、補間領域におけるReLUネットワークがtemperedかbenign過剰適合を示すかを決定づけるか？
• RQ2 低次元におけるReLUネットワークにおけるtempered overfittingの経験的観察を理論的に正当化できるか？
• RQ3 異なる入力次元において、ラベルノイズレベルpの変化に伴い、ネットワークの一般化誤差はどのようにスケーリングするか？
• RQ4 2層ReLUネットワークが指数的尾部損失で学習され、ノイズのあるデータを完全に適合させても、どのような条件下で近似的に最適な一般化が達成されるか？

主な発見

• 1次元入力空間では、クリーンなテスト誤差がΘ(poly(p))とスケーリングされ、ノイズレベルに比例するtempered overfittingが確認される。
• 高次元入力（d ≥ 3）では、入力次元が増加するにつれてクリーンなテスト誤差がゼロに減少し、benign overfittingが示唆される。
• ネットワークがmax-margin問題の局所的最小値に収束する場合、クリーンなテスト誤差はO(1/2^k)で有界であり、ここでkは負例の数である。これは誤分類確率の指数関数的減少を示唆する。
• temperedからbenign overfittingへの遷移は、主に入力次元によって駆動され、ネットワーク幅は十分に補間可能であれば影響しない。
• 実験的検証により、中間次元における理論的遷移が確認され、ノイズに対する誤差スケーリングが線形から非線形へ段階的に移行することが示された。
• 単位球面上のランダムな入力が意思決定境界の反対側にある確率は1/2 - 1/2^kで有界であり、高次元では無視できるほど小さくなる。