[논문 리뷰] On Uniform Convergence and Low-Norm Interpolation Learning

Lijia Zhou, Danica J. Sutherland외 1명|arXiv (Cornell University)|2020. 06. 10.

Machine Learning and Algorithms참고 문헌 32인용 수 6

한 줄 요약

이 논문은 고차원 선형 회귀에서 저노름 보간 예측기의 일반화를 설명하는 데 있어 균일 수렴 추론이 가능한지 조사한다. 기존의 노름 구역 위에서의 균일 수렴은 일致성(일致성)을 설명하지 못하지만, 본문에서는 노름 구역 내에서 오차가 0인 예측기의 균일 수렴이라는 보다 정교한 개념을 제안하며, 이는 일반화 오차를 효과적으로 유계화하고 강력한 이중성 및 점근적 분석을 통해 최소노름 보간기의 일치성을 설명한다.

ABSTRACT

We consider an underdetermined noisy linear regression model where the minimum-norm interpolating predictor is known to be consistent, and ask: can uniform convergence in a norm ball, or at least (following Nagarajan and Kolter) the subset of a norm ball that the algorithm selects on a typical input set, explain this success? We show that uniformly bounding the difference between empirical and population errors cannot show any learning in the norm ball, and cannot show consistency for any set, even one depending on the exact algorithm and distribution. But we argue we can explain the consistency of the minimal-norm interpolator with a slightly weaker, yet standard, notion: uniform convergence of zero-error predictors in a norm ball. We use this to bound the generalization error of low- (but not minimal-) norm interpolating predictors.

연구 동기 및 목표

• 과다매개변수화된 선형 회귀에서 최소노름 보간기의 일치성을 노름 구역 위에서의 균일 수렴이 설명할 수 있는지 확인하는 것.
• 고차원 설정에서 보간 학습을 설명하는 데 있어 기존의 균일 수렴 추론의 한계를 평가하는 것.
• 일반화를 설명하기 위해 약하지만 효과적인 균일 수렴 개념—노름 구역 내에서 오차가 0인 예측기의 균일 수렴—을 제안하고 분석하는 것.
• 강력한 이중성과 난수 행렬 이론을 사용하여 저노름 보간 예측기의 점근적 최악의 일반화 갭을 특성화하는 것.

제안 방법

• 독립적 동일분포 가우시안 공변수와 독립된 노이즈를 가진 고차원 선형 회귀 모델을 분석하며, 진짜 신호가 특성의 부분집합에만 의존한다.
• 최소노름 보간기(리지드 없는 회귀)를 고려하고, 차원과 노이즈의 특정 점근적 스케일링 하에서 그 일치성을 확립한다.
• 모든 예측기 대신 노름 구역 내에서 경험적 오차가 0인 예측기 중심의 새로운 균일 수렴 프레임워크를 도입한다.
• 최소노름 보간기의 최악의 일반화 갭을 특성화하는 비볼록 최적화 문제를 분석하기 위해 강력한 이중성을 사용한다.
• 랜덤 행렬 이론과 점근적 분석을 적용하여 표본 수와 잡스피처 수의 동시 극한 하에서 기대 일반화 오차의 극한을 유도한다.
• 전체 노름 구역 위에서의 균일 수렴은 실패하지만, 노름 구역 내 오차가 0인 예측기 위에서의 균일 수렴은 성립하며, 이는 일치성을 설명한다.

실험 결과

연구 질문

• RQ1 노름 구역 위에서의 표준 균일 수렴은 고차원 선형 회귀에서 최소노름 보간기의 일반화를 설명할 수 있는가?
• RQ2 예측기가 일치함에도 불구하고 기존의 균일 수렴 추론이 보간 학습의 일치성을 설명하지 못하는 이유는 무엇인가?
• RQ3 저노름 보간 예측기의 일반화를 성공적으로 설명할 수 있는 더 약한 균일 수렴 개념이 존재하는가?
• RQ4 이 설정에서 주어진 노름을 가진 보간 예측기의 점근적 최악의 일반화 갭은 무엇인가?
• RQ5 비볼록 최적화 프레임워크에서 강력한 이중성을 사용해 저노름 보간기의 일반화 오차를 특성화할 수 있는가?

주요 결과

• 표준 균일 수렴은 전체 노름 구역 위에서 적용되더라도, 최소노름 보간기의 학습이나 일치성을 설명할 수 없다. 이는 알고리즘적 및 분포적 종속성 존재하에서도 마찬가지이다.
• 노름 구역 내 오차가 0인 예측기 위에서의 균일 수렴은 최소노름 보간기의 일치성을 설명하는 데 충분하며, 더 정교한 이론적 프레임워크를 제공한다.
• 강력한 이중성을 통해 저노름 보간기의 점근적 최악의 일반화 갭이 정확히 특성화되며, 이는 낮은 노름과 보간이 일반화에 모두 필수적임을 보여준다.
• 최소노름 보간기의 기대 일반화 오차는 표본 수와 잡스피처 수의 동시 극한에서 베이즈 위험으로 수렴하며, 이는 일치성을 확인한다.
• 최소노름 보간기의 노름을 α 배 이내로 제한한 예측기의 최악의 일반화 오차는 α² 배의 베이즈 위험으로 수렴하며, 이는 날카로운 경계를 확립한다.