[논문 리뷰] Towards an Understanding of Benign Overfitting in Neural Networks

Li Zhu, Zhi‐Hua Zhou외 1명|arXiv (Cornell University)|2021. 06. 06.

Neural Networks and Applications참고 문헌 43인용 수 9

한 줄 요약

이 논문은 노이즈가 있는 공변량을 가진 고차원 설정에서 두 계층 ReLU 신경망에서의 유익한 과적합(benign overfitting)에 대한 유한 표본 분석을 제공한다. 약간의 조건 하에 데이터 차원, 스펙트럼 감쇠 및 노이즈에 대해, 보간 추정기(MNLS)가 $ O\left(\sqrt{\log n/n}\right) $ 수준의 거의 최소최대 최적 학습률을 달성하며, $ O(n^2) $ 파rameter를 초과할 경우 위험도 증가함을 예측한다. 이는 경험적 더블 디센트(double descent) 행동과 일치한다.

ABSTRACT

Modern machine learning models often employ a huge number of parameters and are typically optimized to have zero training loss; yet surprisingly, they possess near-optimal prediction performance, contradicting classical learning theory. We examine how these benign overfitting phenomena occur in a two-layer neural network setting where sample covariates are corrupted with noise. We address the high dimensional regime, where the data dimension $d$ grows with the number $n$ of data points. Our analysis combines an upper bound on the bias with matching upper and lower bounds on the variance of the interpolator (an estimator that interpolates the data). These results indicate that the excess learning risk of the interpolator decays under mild conditions. We further show that it is possible for the two-layer ReLU network interpolator to achieve a near minimax-optimal learning rate, which to our knowledge is the first generalization result for such networks. Finally, our theory predicts that the excess learning risk starts to increase once the number of parameters $s$ grows beyond $O(n^2)$, matching recent empirical findings.

연구 동기 및 목표

• 공변량 노이즈가 존재하는 상황에서 과매개변수화된 두 계층 ReLU 신경망의 일반화 성질을 이해하기 위해.
• 데이터 차원이 $ d = O(n^\alpha) $, $ \alpha \in (0,1) $ 인 고차원 설정에서 보간 추정기(MNLS)의 유한 표본 초과 위험 경계를 유도하기 위해.
• 특히 데이터 차원, 공분산의 스펙트럼 감쇠 및 노이즈 수준 간의 상호작용을 고려하여, 유익한 과적합이 발생하는 조건을 규명하기 위해.
• 보간자가 거의 최소최대 최적 학습률을 달성할 수 있음을 보이고, $ O(n^2) $ 파rameter를 초과할 경우 위험이 증가하는 영역을 규명하기 위해.

제안 방법

• 고정된 첫 번째 계층 가중치를 가진 두 계층 ReLU 신경망을 분석하고, 노이즈가 있는 학습 데이터를 보간하기 위해 최소 노름 최소 제곱(MNLS) 추정기를 사용한다.
• 초과 학습 위험을 특성화하기 위해 편향에 대한 상한과 분산에 대한 상한 및 하한을 유도한다.
• 서브가우시안 데이터 및 공변량 노이즈를 가정하고, 높은 차원 설정에서 꼬리 행동을 제어하기 위해 농도 부등식을 활용한다.
• 세 가지 핵심 파라미터인 $ \alpha $ (차원 증가율), $ \gamma $ (공분산의 스펙트럼 감쇠율), $ \zeta $ (노이즈 감쇠율)를 도입하여 일반화에 영향을 주는 상호작용을 정량화한다.
• 유한 표본 위험 분석을 통해 $ \gamma > \zeta $ 이고 $ \alpha \leq 1/2 $ 인 조건에서 또는 적절한 스펙트럼 및 노이즈 조건에서 초과 위험이 감소함을 보여준다.
• 적절한 과매개변수화 하에서 MNLS 추정기의 학습률이 $ O\left(\sqrt{\log n/n}\right) $ 수준에 도달할 수 있으며, 이는 이론적 최소최대율 $ O(n^{-1/2}) $ 에 근접함을 보여준다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 공변량을 가진 고차원 설정에서 두 계층 ReLU 네트워크에서 유익한 과적합이 발생하는 조건은 무엇인가?
• RQ2 두 계층 ReLU 네트워크의 보간 추정기가 거의 최소최대 최적 학습률을 달성할 수 있는가?
• RQ3 파라미터 수 $ s $ 는 일반화 위험에 어떤 영향을 미치며, 위험이 증가하기 시작하는 시점은 언제인가?
• RQ4 데이터 차원 $ d $, 스펙트럼 감쇠 $ \gamma $, 공변량 노이즈 $ \xi $ 간의 상호작용이 초과 위험을 결정하는 데 어떤 역할을 하는가?

주요 결과

• 특히 스펙트럼 감쇠율 $ \gamma $ 가 노이즈 감쇠율 $ \zeta $ 를 초과하고 $ \alpha \leq 1/2 $ 일 때, MNLS 추정기의 초과 학습 위험이 약간의 조건 하에 0으로 감소한다.
• 만약 $ \alpha = 0.5 $, $ \gamma > \zeta = 2 $, 그리고 $ s = O(n^{1.25}) $ 이면, 초과 위험은 $ O(n^{-0.25}) $ 속도로 수렴한다.
• 적절한 과매개변수화 하에서 MNLS 추정기는 $ O\left(\sqrt{\log n/n}\right) $ 수준의 거의 최소최대 최적 학습률을 달성하며, 이는 이론적 최소최대율 $ O(n^{-1/2}) $ 에 근접한다.
• 파라미터 수 $ s $ 가 $ O(n^2) $ 를 초과할 경우 초과 위험이 증가하기 시작하며, 이는 과매개변수화된 ReLU 네트워크에서 더블 디센트 행동을 확인한다.
• 공변량 노이즈를 추가하면 암묵적 정규화 역할을 하여 일반화 성능을 향상시킬 수 있으며, 이는 노이즈가 있는 데이터에서 유익한 과적합의 경험적 관찰과 일치한다.
• 유한 표본 위험 경계는 데이터 차원이 $ d = O(n^\alpha) $, $ \alpha \in (0,1) $ 인 고차원 설정에서도 스펙트럼 및 노이즈 감쇠 조건이 충족되면 유익한 과적합이 가능하다는 것을 드러낸다.