[논문 리뷰] Benign Overfitting and Noisy Features

Li Zhu, Weijie Su외 1명|arXiv (Cornell University)|2020. 08. 06.

Stochastic Gradient Optimization Techniques참고 문헌 33인용 수 6

한 줄 요약

이 논문은 무작위 특징 모델에서의 유익한 오버피팅을 특징의 노이즈가 암묵적 정규화로 작용함으로써 설명한다. 최소노름 최소제곱 추정기의 분석을 통해 초과 위험에 대한 날카운 bounds를 도출하여, 노이즈가 과적합화된 상태이지만 훈련 오차가 0인 경우에도 더블 디센트와 최적의 일반화를 가능하게 함을 보여준다.

ABSTRACT

Modern machine learning models often exhibit the <i>benign overfitting</i> phenomenon, which has recently been characterized using the <i>double descent</i> curves. In addition to the classical U-shaped learning curve, the learning risk undergoes another descent as we increase the number of parameters beyond a certain threshold. In this article, we examine the conditions under which benign overfitting occurs in the random feature (RF) models, that is, in a two-layer neural network with fixed first layer weights. Adopting a novel view of random features, we show that benign overfitting emerges because of the noise residing in such features. The noise may already exist in the data and propagates to the features, or it may be added by the user to the features directly. Such noise plays an implicit yet crucial regularization role in the phenomenon. In addition, we derive the explicit tradeoff between the number of parameters and the prediction accuracy, and for the first time demonstrate that overparameterized model can achieve the <i>optimal learning rate</i> in the minimax sense. Finally, our results indicate that the learning risk for overparameterized models has multiple, instead of double descent behavior, which is empirically verified in recent works. Supplementary materials for this article are available online.

연구 동기 및 목표

• 훈련 오차가 0임에도 불구하고 일반화 성능이 뛰어난 과적합화된 모델에서의 유익한 오버피팅 메커니즘을 이해하는 것.
• 데이터로부터 유래되거나 의도적으로 추가된 노이즈가 암묵적 정규화의 원동력으로서 기능하는지 조사하는 것.
• 약한 가정 하에 무작위 특징 모델에서 초과 위험에 대한 날카운 상한과 하한을 제공하는 것.
• 노이즈 감쇠 비율과 특징 구조에 따라 더블 디센트 현상을 특성화하는 것.
• 전통적인 편향-분산 트레이드오프를 넘어서 현대 딥 러닝의 일반화 이론적 이해를 확장하는 것.

제안 방법

• 고정된 첫 번째 레이어 가중치를 가진 무작위 특징 모델에서 최소노름 최소제곱(MNLS) 추정기를 분석한다.
• 특징 행렬을 결정론적 성분과 노이즈 행렬 ξ의 합으로 모델링하며, ξ는 특징 수준의 노이즈를 나타낸다.
• 무작위 행렬 이론을 사용하여 그램 행렬 s/n ZᵀZ의 고유값, 특히 최소 고유값 µₙ을 연구한다.
• 집중 부등식과 행렬 편미분 이론을 적용하여 정규화된 그램 행렬의 역행렬을 유계로 둔다.
• 노이즈와 역그램 행렬의 곱의 트레이스를 분석하여 초과 위험에 대한 상한과 하한을 도출한다.
• 편미분된 그램 행렬의 고유값에 나타나는 σ₀²/n에 기반한 노이즈 의존 정규화 효과를 도입하여, 노이즈와 암묵적 편향을 연결한다.

실험 결과

연구 질문

• RQ1 무작위 특징의 노이즈는 과적합화된 모델에서 어떻게 유익한 오버피팅을 가능하게 하는가?
• RQ2 최소노름 최소제곱 추정기가 훈련 오차가 0임에도 불구하고 낮은 일반화 오차를 달성할 수 있는 조건은 무엇인가?
• RQ3 특징 노이즈는 무작위 특징 모델에서 더블 디센트 곡선을 어떻게 형성하는가?
• RQ4 특징의 노이즈에 의해 유도되는 암묵적 정규화를 통해 더블 디센트 행동을 설명할 수 있는가?
• RQ5 특징 노이즈의 감쇠 비율은 일반화 성능과 위험 최소점의 위치에 어떻게 영향을 미치는가?

주요 결과

• 특징의 노이즈(ξ)는 과적합화된 영역에서도 낮은 일반화 오차를 가능하게 하는 핵심적인 암묵적 정규화 역할을 한다.
• 초과 위험은 O(σ² Tr(Σ) s / n²) 비례하는 항들로 상한과 하한이 유도되며, 이는 노이즈 분산과 특징 차원에 명시적인 의존성을 보여준다.
• 정규화된 그램 행렬의 최소 고유값 µₙ(Aξ)는 1/(c₅n) 이상으로 유계로 둔다. 이는 MNLS 추정기의 역행렬 존재성과 안정성을 보장한다.
• 더블 디센트 곡선은 특징 노이즈와 과적합화의 상호작용으로 자연스럽게 나타나며, n개 이상의 파rameter를 초과할수록 위험이 감소한다.
• 이 분석은 약한 가정 하에서도 성립한다: 데이터에 대해 가우시안 또는 서브가우시안 가정이 필요 없으며, 커널과 특징 구조에 대해서도 온건한 조건만 필요하다.
• 결과적으로, 최적의 편향-분산 트레이드오프는 특징 노이즈의 감쇠 비율 조정을 통해 달성될 수 있으며, 이는 딥 러닝 아키텍처 설계 원칙을 제시한다.