[논문 리뷰] Benign overfitting in the large deviation regime

Geoffrey Chinot, Matthieu Lerasle|arXiv (Cornell University)|2020. 03. 12.

Statistical Methods and Inference참고 문헌 28인용 수 9

한 줄 요약

이 논문은 대수적 편차 영역에서 예측 위험 경계가 0으로 수렴하는 양호한 과적합이 가능함을 입증한다. 여기서 경계는 높은 확률 $1 - e^{- olimits\zeta n}$ 으로 성립한다. 저자들은 최소 노름 보간 추정량에 대한 새로운 국소화 분석을 도입하여, 제곱 손실, 투명 손실, 절대 손실에 대해 날카러진 위험 경계를 도출함으로써, 강건 통계 및 표준 통계 분야의 이전 결과를 확장한다.

ABSTRACT

We investigate the benign overfitting phenomenon in the large deviation regime where the bounds on the prediction risk hold with probability $1-e^{-\zeta n}$, for some absolute constant $\zeta$. We prove that these bounds can converge to $0$ for the quadratic loss. We obtain this result by a new analysis of the interpolating estimator with minimal Euclidean norm, relying on a preliminary localization of this estimator with respect to the Euclidean norm. This new analysis complements and strengthens particular cases obtained in previous works for the square loss and is extended to other loss functions. To illustrate this, we also provide excess risk bounds for the Huber and absolute losses, two widely spread losses in robust statistics.

연구 동기 및 목표

• 대수적 편차 영역에서 양호한 과적합이 예측 위험이 0으로 수렴하는 조건을 이해하는 것.
• 기존의 제곱 손실에 대한 위험 경계를 투명 손실 및 절대 손실과 같은 다른 강건 손실 함수로 확장하는 것.
• 이전 접근 방식을 개선하는 최소 노름 보간 추정량에 대한 보다 정교한 분석을 개발하는 것.

제안 방법

• 유클리드 노름에 대해 최소 노름 보간 추정량에 대한 새로운 국소화 기법을 도입한다.
• 높은 확률 경계가 성립하는 대수적 편차 영역에서 추정량을 분석한다. 여기서 확률은 $1 - e^{-\zeta n}$ 으로 주어진다.
• 제곱 손실에 대한 예측 위험 경계를 도출하고, 분석을 투명 손실 및 절대 손실로 확장한다.
• 고차원 설정에서 추정량의 행동을 제어하기 위해 농도 및 국소화 추론을 사용한다.
• 통계학적 학습 이론 및 난수 행렬 이론의 도구를 적용하여 위험 경계의 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 대수적 편차 확률 경계 하에서 양호한 과적합이 예측 위험이 0으로 수렴하게 할 수 있는가?
• RQ2 높은 확률 영역에서 유클리드 노름에 대해 국소화된 최소 노름 보간 추정량은 어떻게 행동하는가?
• RQ3 제곱 손실의 분석을 투명 손실 및 절대 손실과 같은 강건 손실로 얼마나 넓게 확장할 수 있는가?
• RQ4 이러한 손실의 위험 경계가 대수적 편차 영역에서 0으로 수렴하는 조건은 무엇인가?

주요 결과

• 제곱 손실의 예측 위험은 대수적 편차 영역에서 확률 $1 - e^{-\zeta n}$ 으로 0으로 수렴한다.
• 제안된 국소화 기법은 최소 노름 보간 추정량에 대한 더 엄밀한 제어를 가능하게 하여 이전 경계를 초월한다.
• 투명 손실 및 절대 손실에 대한 초과 위험 경계가 확립되어, 양호한 과적합의 적용 가능성이 강건 통계로 확장된다.
• 분석 결과, 양호한 과적합이 제곱 손실에 국한되지 않고 더 넓은 손실 함수에 대해서도 성립함을 확인한다.