[논문 리뷰] The Implicit Bias of Benign Overfitting

Ohad Shamir|arXiv (Cornell University)|2022. 01. 27.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 선형 모델에서 표준 학습 방법의 암묵적 편향을 조사하며, 유의미한 과적합(완벽한 훈련 적합도와 낮은 일반화 오차)이 일반적으로 비잘정의된 선형 회귀에서는 실패함을 보여준다. 이는 최소 노름 보간 예측자가 일致하지 않기 때문이다. 반면 분류 문제에서는 최대 마진 예측자가 암묵적으로 가중된 제곱 허프 손실을 최소화하도록 편향되며, 이로 인해 선형으로 분리 가능한 설정에서 임의의 레이블 노이즈가 1/2 이하일 경우에도 유의미한 과적합이 가능하다.

ABSTRACT

The phenomenon of benign overfitting, where a predictor perfectly fits noisy training data while attaining near-optimal expected loss, has received much attention in recent years, but still remains not fully understood beyond well-specified linear regression setups. In this paper, we provide several new results on when one can or cannot expect benign overfitting to occur, for both regression and classification tasks. We consider a prototypical and rather generic data model for benign overfitting of linear predictors, where an arbitrary input distribution of some fixed dimension $k$ is concatenated with a high-dimensional distribution. For linear regression which is not necessarily well-specified, we show that the minimum-norm interpolating predictor (that standard training methods converge to) is biased towards an inconsistent solution in general, hence benign overfitting will generally not occur. Moreover, we show how this can be extended beyond standard linear regression, by an argument proving how the existence of benign overfitting on some regression problems precludes its existence on other regression problems. We then turn to classification problems, and show that the situation there is much more favorable. Specifically, we prove that the max-margin predictor (to which standard training methods are known to converge in direction) is asymptotically biased towards minimizing a weighted \emph{squared hinge loss}. This allows us to reduce the question of benign overfitting in classification to the simpler question of whether this loss is a good surrogate for the misclassification error, and use it to show benign overfitting in some new settings.

연구 동기 및 목표

• 잘정의된 회귀를 초월한 선형 모델에서 유의미한 과적합이 발생하는 조건을 이해한다.
• 고차원 설정에서 표준 학습 방법(최소 노름 및 최대 마진 예측자)의 암묵적 편향을 조사한다.
• 분류에서 레이블 노이즈가 상당히 존재하더라도 유의미한 과적합이 가능한 조건을 규명한다.
• 제곱 손실 회귀를 초월해 분류 및 비잘정의된 모델에 대한 유의미한 과적합의 이론적 이해를 확장한다.

제안 방법

• 프로토타입 데이터 모델을 제안: k차원 입력 분포를 고차원이며 약간의 직교성을 가지는 분포와 연결한다.
• 차원 d와 표본 크기 m이 d ≫ m로 발산할 때 선형 회귀에서 최소 노름 보간 예측자의 渐近적 행동을 분석한다.
• 최소 노름 예측자의 渐近적 형태를 유도하며, 데이터가 잘정의되지 않은 경우에만 편향된 해로 수렴함을 보여준다.
• 분류 문제에서는 최대 마진 예측자가 데이터 분포 하에서 가중된 제곱 허프 손실을 渐近적으로 최소화함을 증명한다.
• 이 손실 최소화와 낮은 오분류 오차를 달성하는 것의 등가성을 이용해 선형으로 분리 가능한 설정에서의 유의미한 과적합을 확립한다.
• 변형 분석을 적용해 고차원 노이즈 성분이 영향력을 감소시킴을 보여주며, 온건한 조건 하에서 일致한 추정이 가능함을 보여준다.

실험 결과

연구 질문

• RQ1 비잘정의된 선형 회귀에서 유의미한 과적합이 실패하는 조건은 무엇인가?
• RQ2 최소 노름 보간 예측자의 암묵적 편향이 고차원 회귀에서 일반화에 어떤 영향을 미치는가?
• RQ3 레이블 노이즈가 임의일 경우에도 분류에서 유의미한 과적합이 발생할 수 있는가, 그리고 어떤 분포 가정 하에 가능한가?
• RQ4 고차원, 선형으로 분리 가능한 설정에서 최대 마진 예측자의 암묵적 편향은 무엇인가?
• RQ5 입력 분포의 구조—특히 저차원 성분과 고차원 i.i.d. 성분—이 유의미한 과적합의 가능성에 어떤 영향을 미치는가?

주요 결과

• 비잘정의된 선형 회귀에서 최소 노름 보간 예측자는 渐近적으로 편향되고 일치하지 않으며, 이는 유의미한 과적합을 차단한다.
• 최소 노름 예측자는 고차원 성분의 기대 외적 곱의 역행렬에 의존하는 해로 수렴하며, 진정한 최소 제곱 해는 아니다.
• 유의미한 과적합이 한 문제에서 존재한다면, 예측자의 편향에 대한 구조적 제약로 인해 다른 문제에서는 불가능하다.
• 분류 문제에서는 최대 마진 예측자가 데이터 분포 하에서 가중된 제곱 허프 손실을 암묵적으로 최소화하도록 편향된다.
• 데이터 분포가 선형으로 분리 가능하고 특별한 방향에서 대칭성 및 독립성 조건을 만족할 경우, 어떤 레이블 노이즈 수준까지도 분류에서 유의미한 과적합이 발생한다.
• 차원 d가 표본 크기 m보다 충분히 더 빠르게 증가할 조건 하에서 결과는 渐近적으로 성립하며, 이는 고차원 노이즈 성분의 영향력 감소를 보장한다.