[논문 리뷰] Bias-variance decomposition of overparameterized regression with random linear features

Jason W. Rocks, Pankaj Mehta|arXiv (Cornell University)|2022. 03. 10.

Gaussian Processes and Bayesian Inference참고 문헌 42인용 수 6

한 줄 요약

이 논문은 영온도 캐비티 방법을 사용하여 오버파rameterized 선형 회귀 모델에서 무작위 선형 특징을 갖는 경우에 대해 엄밀한 편향-분산 분해를 제공한다. 세 가지 단계로 나뉘는 세 가지 단계 전이를 포함한 세 가지 별개의 영역을 식별하며, 훈련 오차가 0이 되는 인터폴레이션 영역으로의 두 번째 전이를 포함한다. 또한 분산이 인터폴레이션 전이에서 발산하는 것을 보이며, 이는 랜덤 매트릭스 이론을 통해 헤시안 행렬의 작은 비영인 고유값들에 의해 이끌린다.

ABSTRACT

In classical statistics, the bias-variance trade-off describes how varying a model's complexity (e.g., number of fit parameters) affects its ability to make accurate predictions. According to this trade-off, optimal performance is achieved when a model is expressive enough to capture trends in the data, yet not so complex that it overfits idiosyncratic features of the training data. Recently, it has become clear that this classic understanding of the bias-variance must be fundamentally revisited in light of the incredible predictive performance of "overparameterized models" -- models that avoid overfitting even when the number of fit parameters is large enough to perfectly fit the training data. Here, we present results for one of the simplest examples of an overparameterized model: regression with random linear features (i.e. a two-layer neural network with a linear activation function). Using the zero-temperature cavity method, we derive analytic expressions for the training error, test error, bias, and variance. We show that the linear random features model exhibits three phase transitions: two different transitions to an interpolation regime where the training error is zero, along with an additional transition between regimes with large bias and minimal bias. Using random matrix theory, we show how each transition arises due to small nonzero eigenvalues in the Hessian matrix. Finally, we compare and contrast the phase diagram of the random linear features model to the random nonlinear features model and ordinary regression, highlighting the new phase transitions that result from the use of linear basis functions.

연구 동기 및 목표

• 표준 교과서 정의를 사용하여 이전의 무작위 특징 모델에 대한 편향-분산 분해에서의 모순을 해결하기 위해.
• 무작위 선형 특징 모델에서 훈련 오차, 테스트 오차, 편향, 분산에 대한 해석적 표현을 유도하기 위해.
• 모델의 일반화 행동에서 세 가지 별개의 영역과 세 가지 단계 전이를 식별하고 특성화하기 위해.
• 랜덤 매트릭스 이론을 사용하여 헤시안 행렬의 고유값 스펙트럼과 단계 전이를 연결하기 위해.
• 비선형 특징 모델과의 대조를 통해 선형 기저 함수가 추가적인 단계 전이를 가능하게 하는 역할을 부각시키기 위해.

제안 방법

• 영온도 캐비티 방법을 적용하여 무작위 선형 특징 모델에서 일반화 오차, 편향, 분산을 해석적으로 계산한다.
• 헤시안 행렬의 고유값 스펙트럼을 특성화하기 위해 스칼라 감도에 대한 자기일관성 방정식을 유도한다.
• 랜덤 매트릭스 이론을 사용하여 위샤르트 곱 행렬 Z^T Z의 스펙트럼을 분석하고, 작은 비영인 고유값이 단계 전이와 어떻게 연결되는지 분석한다.
• 감도 χ를 통해 영 고유값의 비율을 정의함으로써 인터폴레이션 영역의 식별을 가능하게 한다.
• 스케일링된 감도 ν에 대한 삼차방정식을 풀어 고유값 스펙트럼과 단계 전이의 경계를 특정한다.
• 분석 결과를 검증하기 위해 1000~150,000회의 독립적인 시뮬레이션을 수행하며, Np와 M에 따라 Z^T Z 또는 ZZ^T를 사용하여 고유값을 계산한다.

실험 결과

연구 질문

• RQ1 표준 정의에 따라 오버파라미터화된 영역에서 무작위 선형 특징 모델의 편향-분산 분해는 어떻게 행동하는가?
• RQ2 왜 모델의 일반화 오차 지도에서 세 가지 별개의 영역과 세 가지 단계 전이가 나타나는가?
• RQ3 왜 분산은 인터폴레이션 전이에서 발산하는가, 반면 편향은 유한한가? 이 행동은 헤시안의 고유값 스펙트럼과 어떻게 연결되는가?
• RQ4 왜 선형 특징은 비선형 특징 모델에 존재하지 않는 추가적인 단계 전이를 유도하는가? 작은 비영인 고유값은 어떤 역할을 하는가?
• RQ5 모델의 단계 전이와 오차 행동은 데이터, 특징, 파라미터의 상대적 스케일링(M, Nf, Np)에 얼마나 의존하는가?

주요 결과

• 무작위 선형 특징 모델은 세 가지 별개의 영역을 보인다: 유한한 훈련 오차와 큰 편향을 가진 과소파라미터화된 영역, 일정한 최소 편향을 가진 두 번째 과소파라미터화된 영역, 훈련 오차가 0인 오버파라미터화된(인터폴레이션) 영역.
• 세 영역을 분리하는 세 가지 단계 전이가 존재한다: 두 번의 인터폴레이션 영역으로의 전이(각각 테스트 오차의 발산으로 표시됨), 그리고 큰 편향과 최소 편향을 가진 과소파라미터화된 영역 간의 전이.
• 인터폴레이션 영역으로의 단계 전이에서 분산이 발산하는 반면, 편향은 유한하게 유지되며, 이는 이전 연구에서 비표준 정의로 인해 편향의 발산을 보고한 바와 정반대이다.
• 각 단계 전이는 헤시안 행렬에 작은 비영인 고유값이 나타나면서 발생하며, 이는 감도 χ를 통해 캡처되고 위샤르트 곱 행렬의 스펙트럼과 연결된다.
• 영 고유값의 비율은 f_zero = max(0, 1 − α_f/α_p, 1 − α_p^−1)로 주어지며, 이는 인터폴레이션 영역의 시작 조건을 결정하며 Nf, Np, M의 상대적 스케일링에 따라 달라진다.
• 선형 특징은 비선형 기저 함수가 설계 행렬의 작은 고유값을 암묵적으로 정규화하는 메커니즘이 없기 때문에, 비선형 특징 모델에 존재하지 않는 추가적인 인터폴레이션 전이를 유도한다.