[논문 리뷰] Understanding Double Descent Requires a Fine-Grained Bias-Variance Decomposition

Ben Adlam, Jeffrey Pennington|arXiv (Cornell University)|2020. 11. 04.

Machine Learning in Materials Science인용 수 22

한 줄 요약

이 논문은 과다매개변수 모델에서 데이터 샘플링, 모델 초기화, 레이블 노이즈의 분산 기여를 분리하는 대칭적이고 세밀한 편향-분산 분해를 제안한다. 이는 더블 디센트가 총 분산 때문이 아니라 특히 $V_{PX}$ 및 $V_{PX\boldsymbol{\rho}}$와 같은 상호작용 항이 보간 임계점에서 발산하기 때문에 발생함을 드러내며, 이는 테스트 오차의 급증을 설명하고 배깅 또는 앙상블을 통해 제거될 수 있음을 보여준다.

ABSTRACT

Classical learning theory suggests that the optimal generalization performance of a machine learning model should occur at an intermediate model complexity, with simpler models exhibiting high bias and more complex models exhibiting high variance of the predictive function. However, such a simple trade-off does not adequately describe deep learning models that simultaneously attain low bias and variance in the heavily overparameterized regime. A primary obstacle in explaining this behavior is that deep learning algorithms typically involve multiple sources of randomness whose individual contributions are not visible in the total variance. To enable fine-grained analysis, we describe an interpretable, symmetric decomposition of the variance into terms associated with the randomness from sampling, initialization, and the labels. Moreover, we compute the high-dimensional asymptotic behavior of this decomposition for random feature kernel regression, and analyze the strikingly rich phenomenology that arises. We find that the bias decreases monotonically with the network width, but the variance terms exhibit non-monotonic behavior and can diverge at the interpolation boundary, even in the absence of label noise. The divergence is caused by the \emph{interaction} between sampling and initialization and can therefore be eliminated by marginalizing over samples (i.e. bagging) \emph{or} over the initial parameters (i.e. ensemble learning).

연구 동기 및 목표

• 과다매개변수 모델에서 더블 디센트를 설명하는 데 있어 고전적 편향-분산 분해의 한계를 해결하기 위해.
• 고전적 이론이 설명하지 못하는 보간 임계점 근처에서의 테스트 오차 급증의 근본 원인을 규명하기 위해.
• 샘플링, 초기화, 레이블 노이즈와 같은 다수의 랜덤성 원천을 고려한 대칭적이고 해석 가능한 분산 분해를 개발하기 위해.
• 테스트 오차의 발산이 레이블 노이즈 또는 개별 원천이 아니라 샘플링과 초기화 간의 상호작용 항 때문임을 입증하기 위해.
• 배깅 또는 모델 평균화와 같은 앙상블 방법이 문제적인 분산 성분을 제거할 수 있음을 보여주기 위해.

제안 방법

• ANOVA 스타일의 직교 분해를 사용하여 조건화 순서에 의존하지 않는 대칭적이고 다변량 편향-분산 분해를 도입함.
• 랜덤 피처 커널 회귀에 분해를 적용하여 고차원적 점근 분석을 가능하게 함.
• 편향과 분산 성분의 명시적 표현을 유도: $B$, $V_P$, $V_X$, $V_{X\boldsymbol{\rho}}$, $V_{PX}$, 및 $V_{PX\boldsymbol{\rho}}$.
• 모델 폭과 표본 크기가 큰 극한에서 점근적 분석을 수행하여 각 분산 성분의 행동을 규명함.
• 보간 임계점 ($\phi = \psi$)에서 발산하는 항을 분해를 통해 고립하고, 모델 파라미터에 대한 의존성을 분석함.
• 기존의 순차적 분해(예: d'Ascoli 등)와 제안된 대칭적 분해를 비교하여, 단일 원천에 발산을 기인시키는 해석적 결함을 강조함.

실험 결과

연구 질문

• RQ1 과다매개변수 모델에서 편향이 낮음에도 불구하고 보간 임계점에서 테스트 오차가 급증하는 이유는 무엇인가요?
• RQ2 더블 디센트에서 비단조화적 분산 행동을 유도하는 특정 랜덤성 원천은 무엇인가요?
• RQ3 대칭적이고 다변량 분산 분해가 순차적 분해보다 오차 급증의 근본 원인을 더 명확히 밝힐 수 있을까요?
• RQ4 표준 앙상블 방법인 배깅 또는 앙상블 학습이 보간 근처에서 테스트 오차 급증을 왜 감소시키는가요?
• RQ5 샘플링과 초기화 간의 상호작용 항이 어떻게 발산하는 분산 성분을 유도하는가요?

주요 결과

• 편향은 모델 폭 증가에 따라 단조롭게 감소하며, 고전 이론과 일치함.
• 분산 성분 $V_{PX}$ 및 $V_{PX\boldsymbol{\rho}}$는 레이블 노이즈가 없더라도 보간 임계점 ($\phi = \psi$)에서 발산함.
• 발산은 레이블 노이즈 또는 개별 원천 때문이 아니라 샘플링과 초기화 간의 상호작용 때문임.
• 발산하는 항인 $V_{PX}$ 및 $V_{PX\boldsymbol{\rho}}$는 훈련 샘플에 대해 근사화함(배깅) 또는 초기 파라미터에 대해 평균화함(앙상블 학습)으로 제거될 수 있음.
• 대칭적 분해는 기존의 순차적 분해와 달리 상호작용 항을 유일하게 근본 원인으로 규명함.
• 총 분산과 편향은 유한하지만, 테스트 오차의 급증은 고전적 분해에서 간과된 상호작용 효과 때문임.