[논문 리뷰] A Farewell to the Bias-Variance Tradeoff? An Overview of the Theory of Overparameterized Machine Learning

Yehuda Dar, V. Sai Muthukumar외 1명|arXiv (Cornell University)|2021. 09. 06.

Neural Networks and Applications인용 수 23

한 줄 요약

이 논문은 과다 매개변수화된 기계학습(Overparameterized Machine Learning, TOPML) 이론의 새로운 이론에 대한 종합적인 개요를 제공하며, 노이즈가 있는 훈련 데이터에 완벽하게 맞는 보간 모델이 비록 노이즈를 포함하지만도 잘 일반화될 수 있음을 설명함으로써, 전통적인 편향-분산 트레이드오프 이론에 도전한다. 이 논문은 더블 디센트 현상(dual descent phenomenon)을 도입하고, 일반화를 통계적 신호 처리 관점에서 재구성함으로써, 매개변수 수를 넘어서는 새로운 복잡도 측정 기준의 필요성을 강조한다.

ABSTRACT

The rapid recent progress in machine learning (ML) has raised a number of scientific questions that challenge the longstanding dogma of the field. One of the most important riddles is the good empirical generalization of overparameterized models. Overparameterized models are excessively complex with respect to the size of the training dataset, which results in them perfectly fitting (i.e., interpolating) the training data, which is usually noisy. Such interpolation of noisy data is traditionally associated with detrimental overfitting, and yet a wide range of interpolating models -- from simple linear models to deep neural networks -- have recently been observed to generalize extremely well on fresh test data. Indeed, the recently discovered double descent phenomenon has revealed that highly overparameterized models often improve over the best underparameterized model in test performance. Understanding learning in this overparameterized regime requires new theory and foundational empirical studies, even for the simplest case of the linear model. The underpinnings of this understanding have been laid in very recent analyses of overparameterized linear regression and related statistical learning tasks, which resulted in precise analytic characterizations of double descent. This paper provides a succinct overview of this emerging theory of overparameterized ML (henceforth abbreviated as TOPML) that explains these recent findings through a statistical signal processing perspective. We emphasize the unique aspects that define the TOPML research area as a subfield of modern ML theory and outline interesting open questions that remain.

연구 동기 및 목표

• 노이즈가 있는 훈련 데이터에 완벽하게 맞는 과다 매개변수화된 모델이 여전히 우수한 일반화 성능을 보이는 이유를 설명하는 것.
• 전통적인 편향-분산 트레이드오프의 대체로 더블 디센트 현상을 도입하여 고전적 기계학습 이론을 재구성하는 것.
• 과다 매개변수화된 영역에서 고전적 모델 복잡도 측정 기준(예: 매개변수 수, Rademacher 복잡도)의 한계를 식별하고 분석하는 것.
• 학습된 모델의 복잡도 정의와 일반화 성능에서의 역할에 대한 열린 질문들을 부각하는 것.
• TOPML을 현대 딥 러닝에 기초적인 영향을 미치는 기계학습 이론의 독립된 하위 분야로 위치시키는 것.

제안 방법

• 통계적 신호 처리 프레임워크를 통해 과다 매개변수화된 선형 모델과 커널 방법을 분석한다.
• 고차원적, 과다 매개변수화된 설정에서 일반화를 연구하기 위해 최소 노름 보간 해법을 중심 분석 도구로 사용한다.
• 신호 추정을 모델링하고 고전적 설정에서 보간의 무의미함을 입증하기 위해 균일하게 간격을 둔 격자로 고정 설계 설정을 사용한다.
• 모델 복잡도 전반에서 일반화 오차를 특성화하기 위해 더블 디센트 리스크 곡선을 핵심 진단 도구로 도입한다.
• 일반 수렴 기반의 고전적 일반화 경계가 보간 모델에서 일반화를 설명하지 못하는 실패를 평가한다.
• 최소 기술 길이(MDL)와 알고리즘 안정성과 같은 대체 복잡도 측정 기준을 제안하여 과다 매개변수화 영역에서의 효과적 모델 복잡도를 더 잘 포착한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 훈련 데이터에 보간하는 과다 매개변수화된 모델이 여전히 강력한 일반화 성능을 달성하는 이유는 무엇인가?
• RQ2 더블 디센트 현상은 왜 과다 매개변수화된 모델이 과소 매개변수화된 모델보다 더 우수한 테스트 성능을 보이는지를 설명하는가?
• RQ3 과다 매개변수화 영역에서 모델 복잡도의 정확한 정의는 무엇이며, 왜 매개변수 수만으로는 부족한가?
• RQ4 일반 수렴 기반의 고전적 일반화 경계는 왜 보간 모델에서 일반화를 설명하지 못하는가?
• RQ5 MDL나 알고리즘 안정성과 같은 대체 복잡도 측정 기준은 과다 매개변수화된 학습에서 일반화 행동을 예측할 수 있는가?

주요 결과

• 더블 디센트 현상은 테스트 오차가 보간 임계점 이후에도 감소할 수 있음을 보여주며, 최대 과다 매개변수화에서 최적의 성능을 달성함을 시사한다.
• 노이즈를 포함한 데이터에 보간하는 과다 매개변수화된 모델은 여전히 잘 일반화되며, 이는 고전적 일반화 이론과 정면으로 배치된다.
• 매개변수 수나 Rademacher 복잡도와 같은 고전적 복잡도 측정 기준은 보간 모델에서의 일반화를 설명하지 못한다.
• 커널 회귀에서 최소 노름 보간 해법이 알고리즘적으로 안정적임이 입증되어, 과다 매개변수화 설정에서 안정성과 일반화 간의 연결 고리가 있음을 시사한다.
• 최소 기술 길이(MDL) 원리는 과다 매개변수화 학습에서의 일부 행동을 설명할 수 있는 데이터 기반 복잡도 측정 기준을 제공한다.
• 학습된 모델 복잡도의 정확한 정의는 TOPML에서 여전히 열려 있고 근본적인 도전 과제이며, 이는 이론과 실무에 괄목할 만한 영향을 미친다.