[論文レビュー] Towards an Understanding of Benign Overfitting in Neural Networks

Li Zhu, Zhi‐Hua Zhou+1 more|arXiv (Cornell University)|Jun 6, 2021

Neural Networks and Applications参考文献 43被引用数 9

ひとこと要約

本稿は、ノイズのある共変量を伴う高次元設定下における2層ReLUニューラルネットワークの良性過適合の有限標本解析を提供する。弱い条件下で、補間推定量（MNLS）が $ O\left(\sqrt{\log n/n}\right) $ の近似的にミニマックス最適な学習レートを達成することを確立し、$ O(n^2) $ パラメータを超えるとリスクが増加することを予測しており、これは経験的ダブルデセント行動と一致する。

ABSTRACT

Modern machine learning models often employ a huge number of parameters and are typically optimized to have zero training loss; yet surprisingly, they possess near-optimal prediction performance, contradicting classical learning theory. We examine how these benign overfitting phenomena occur in a two-layer neural network setting where sample covariates are corrupted with noise. We address the high dimensional regime, where the data dimension $d$ grows with the number $n$ of data points. Our analysis combines an upper bound on the bias with matching upper and lower bounds on the variance of the interpolator (an estimator that interpolates the data). These results indicate that the excess learning risk of the interpolator decays under mild conditions. We further show that it is possible for the two-layer ReLU network interpolator to achieve a near minimax-optimal learning rate, which to our knowledge is the first generalization result for such networks. Finally, our theory predicts that the excess learning risk starts to increase once the number of parameters $s$ grows beyond $O(n^2)$, matching recent empirical findings.

研究の動機と目的

• 共変量ノイズが存在する過パラメータ化された2層ReLUニューラルネットワークの一般化特性を理解すること。
• データ次元 $ d = O(n^\alpha) $、$ \alpha \in (0,1) $ の高次元的状況において、補間推定量（MNLS）の有限標本超過リスクバウンドを導出すること。
• 良性過適合が発生する条件を特定すること、特にデータ次元、共分散のスペクトル減衰、およびノイズレベルの相互作用を同定すること。
• 補間推定量が近似的にミニマックス最適な学習レートを達成できることを示し、$ O(n^2) $ パラメータを超えるとリスクが増加する領域を同定すること。

提案手法

• 最初の層の重みを固定した2層ReLUニューラルネットワークを分析し、ノイズのある訓練データを補間する最小ノルム最小二乗（MNLS）推定量を用いる。
• 超過学習リスクを特徴付けるために、バイアスの上界と、分散の一致する上界および下界を導出する。
• サブガウス確率変数としてのデータと共変量ノイズを仮定し、集中不等式を用いて高次元的状況下での尾部挙動を制御する。
• 一般化に影響を与える要因を定量化するために、3つの主要パラメータ $ \alpha $（次元の増加率）、$ \gamma $（共分散のスペクトル減衰率）、$ \zeta $（ノイズ減衰率）を導入する。
• 有限標本リスク解析を用いて、$ \gamma > \zeta $ かつ $ \alpha \leq 1/2 $ の条件下で、または適切なスペクトルおよびノイズ条件のもとで、超過リスクが減少することを示す。
• 適切な過パラメータ化のもとで、MNLS推定量の学習レートが $ O\left(\sqrt{\log n/n}\right) $ に近づくことを示し、理論的なミニマックスレート $ O(n^{-1/2}) $ に近い。

実験結果

リサーチクエスチョン

• RQ1 ノイズのある共変量を伴う高次元的状況下における2層ReLUネットワークで、良性過適合がどのような条件下で発生するか？
• RQ2 2層ReLUネットワークにおける補間推定量が近似的にミニマックス最適な学習レートを達成できるか？
• RQ3 パラメータ数 $ s $ が一般化リスクに与える影響は何か？リスクが上昇し始める点はどこか？
• RQ4 データ次元 $ d $、スペクトル減衰 $ \gamma $、共変量ノイズ $ \xi $ の相互作用が超過リスクを決定づける役割を果たすか？

主な発見

• スペクトル減衰率 $ \gamma $ がノイズ減衰率 $ \zeta $ を上回り、かつ $ \alpha \leq 1/2 $ の条件下で、MNLS推定量の超過学習リスクはゼロに収束する。
• $ \alpha = 0.5 $、$ \gamma > \zeta = 2 $、$ s = O(n^{1.25}) $ の場合、超過リスクは $ O(n^{-0.25}) $ のレートで収束する。
• 適切な過パラメータ化のもとで、MNLS推定量は $ O\left(\sqrt{\log n/n}\right) $ の近似的にミニマックス最適な学習レートを達成し、理論的ミニマックスレート $ O(n^{-1/2}) $ に近づく。
• パラメータ数 $ s $ が $ O(n^2) $ を超えると、超過リスクが増加し始める。これは、過パラメータ化されたReLUネットワークにおけるダブルデセント行動を確認する。
• 共変量ノイズを追加することは、正則化の役割を果たし、一般化性能を向上させることもあり、これはノイズのあるデータにおける良性過適合の経験的観察と整合する。
• 有限標本リスクバウンドは、スペクトルおよびノイズ減衰条件を満たせば、$ d = O(n^\alpha) $、$ \alpha \in (0,1) $ の高次元的状況でも良性過適合が可能であることを示している。