[논문 리뷰] Failures of model-dependent generalization bounds for least-norm interpolation

Peter L. Bartlett, Philip M. Long|arXiv (Cornell University)|2020. 10. 16.

Machine Learning and Algorithms참고 문헌 31인용 수 15

한 줄 요약

이 논문은 통계학적 학습 이론에서 흔히 사용되는 모델에 의존하는 일반화 경계가 과다 매개변수화된 설정에서 최소 노름 선형 보간기 적용 시 본질적으로 잘못될 수 있음을 보여준다. 이는 이러한 경계가 때로는 임의로 느슨해지며, 진짜 초과 위험도가 0에 수렴함에도 불구하고 여전히 0에서 멀리 떨어져 있음을 보여준다. 자연스러운 데이터 분포 하에서 그렇다.

ABSTRACT

We consider bounds on the generalization performance of the least-norm linear regressor, in the over-parameterized regime where it can interpolate the data. We describe a sense in which any generalization bound of a type that is commonly proved in statistical learning theory must sometimes be very loose when applied to analyze the least-norm interpolant. In particular, for a variety of natural joint distributions on training examples, any valid generalization bound that depends only on the output of the learning algorithm, the number of training examples, and the confidence parameter, and that satisfies a mild condition (substantially weaker than monotonicity in sample size), must sometimes be very loose -- it can be bounded below by a constant when the true excess risk goes to zero.

연구 동기 및 목표

• 과다 매개변수화된 설정에서 최소 노름 선형 보간의 맥락에서 모델에 의존하는 일반화 경계의 신뢰성을 조사하는 것.
• 일반적으로 사용되는 일반화 경계가 보간 모델에 대해 허무하거나 지나치게 낙관적인 조건을 규명하는 것.
• 알고리즘 출력, 표본 크기, 신뢰 수준에만 의존하는 유효한 경계라도 진짜 일반화 성능을 포착하지 못할 수 있음을 보여주는 것.
• 진짜 초과 위험이 0에 수렴함에도 불구하고 이러한 경계가 일부 경우에 양의 상한선으로 둔화되어야 한다는 것을 보여주는 것.
• 보간 모델에서 유리한 과적합을 분석하기 위해 균일 수렴 기반 도구의 유용성을 도전하는 것.

제안 방법

• 학습 데이터를 완벽하게 피팅하는 과다 매개변수화된 설정에서 최소 노름 선형 보간기를 분석한다.
• 진짜 초과 위험이 표본 크기가 증가함에 따라 0으로 수렴하는 데이터 분포의 가족을 구성한다.
• 약한 조건(예: 표본 크기에서의 가환성)을 만족하는 임의의 유효한 일반화 경계는 이 설정에서 0에서 멀리 떨어져 있음을 증명한다.
• 희귀 사건의 확률을 제한하기 위해 포isson화된 표본 추출 모델과 농도 불등식(체르노프, 체비셰프)을 사용한다.
• 꼬리 확률을 제어하기 위해 마르코프의 부등식과 체비셰프의 부등식을 적용한다.
• 이항분포와 포아송분포 간의 쌍방향 관계를 활용하여 표본 크기의 변동성이 경계 실패 확률에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 모델에 의존하는 일반화 경계가 과다 매개변수화된 설정에서 최소 노름 보간기에 대해 유효할 수는 있지만, 임의로 느슨해질 수 있는가?
• RQ2 표준 일반화 경계가 보간 모델에서 진짜 위험 감소를 반영하지 못하는 조건은 무엇인가?
• RQ3 실제 초과 위험이 0으로 수렴함에도 불구하고 일반화 경계가 양의 상한선으로 둔화될 수 있는가?
• RQ4 균일 수렴 접근법이 보간 알고리즘의 진짜 일반화 성능을 포착하지 못하는가?
• RQ5 유리한 과적합의 맥락에서 분포에 의존하는 복잡도 측정법이 모델에 의존하는 것보다 더 나은 경계를 제공할 수 있는가?

주요 결과

• 자연스러운 데이터 분포의 클래스에서, 최소 노름 보간기의 진짜 초과 위험은 표본 크기가 증가함에 따라 0으로 수렴한다.
• 알고리즘 출력, 표본 크기, 신뢰 수준에만 의존하는 임의의 유효한 일반화 경계는 진짜 초과 위험이 0으로 수렴할 때도 여전히 양의 상한선으로 둔화되어야 한다.
• 이 실패 현상은 표본 크기에서의 단조성보다 더 약한 조건에서도 발생하여, 이러한 경계의 근본적인 한계를 보여준다.
• 경계의 느슨함은 분석의 열악함 때문이 아니라, 보간 설정에서 모델에 의존하는 경계의 본질적 구조에 기인한다.
• 이 결과는 일반화를 설명하기 위해 가설 클래스에 대한 균일 수렴 기반 표준 도구가 보간 모델에서는 충분하지 않다는 것을 암시한다.
• 실패의 원인은 데이터의 노이즈가 아니라, 고차원 선형 회귀에서의 유리한 과적합 현상에 대응하지 못하는 모델에 의존하는 경계의 능력 부족이다.