[논문 리뷰] What Causes the Test Error? Going Beyond Bias-Variance via ANOVA

Licong Lin, Edgar Dobriban|arXiv (Cornell University)|2021. 01. 01.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 두 층으로 이루어진 선형 및 비선형 네트워크에서 테스트 오차 분산을 분석하기 위해 대칭 ANOVA 기반 분해를 제안하며, 훈련 데이터와 초기화 간의 상호작용이 종종 개별 효과를 초월하여 분산을 지배함을 드러낸다. 이는 분산 행동의 계기 전이를 규명하고, 하르 랜덤 행렬에 대한 결정론적 등가를 사용하여 분산 성분의 단일성 및 단조성 성질을 수립한다.

ABSTRACT

Modern machine learning methods are often overparametrized, allowing adaptation to the data at a fine level. This can seem puzzling; in the worst case, such models do not need to generalize. This puzzle inspired a great amount of work, arguing when overparametrization reduces test error, in a phenomenon called double descent. Recent work aimed to understand in greater depth why overparametrization is helpful for generalization. This leads to discovering the unimodality of variance as a function of the level of parametrization, and to decomposing the variance into that arising from label noise, initialization, and randomness in the training data to understand the sources of the error. In this work we develop a deeper understanding of this area. Specifically, we propose using the analysis of variance (ANOVA) to decompose the variance in the test error in a symmetric way, for studying the generalization performance of certain two-layer linear and non-linear networks. The advantage of the analysis of variance is that it reveals the effects of initialization, label noise, and training data more clearly than prior approaches. Moreover, we also study the monotonicity and unimodality of the variance components. While prior work studied the unimodality of the overall variance, we study the properties of each term in variance decomposition. One key insight is that in typical settings, the interaction between training samples and initialization can dominate the variance; surprisingly being larger than their marginal effect. Also, we characterize phase transitions where the variance changes from unimodal to monotone. On a technical level, we leverage advanced deterministic equivalent techniques for Haar random matrices, that -- to our knowledge -- have not yet been used in the area. We also verify our results in numerical simulations and on empirical data examples.

연구 동기 및 목표

• 편향-분산 트레이드오프를 넘어서 과다매개변수화된 모델에서 테스트 오차 분산의 원인을 이해하기 위해.
• 대칭 ANOVA 프레임워크를 사용하여 레이블 노이즈, 초기화, 훈련 데이터 랜덤성의 기여도로 분산을 분해하기 위해.
• 총 분산이 아닌 개별 분산 성분의 단조성 및 단일성 분석을 위해.
• 일반화 오차에서 훈련 데이터와 초기화 간의 지배적 상호작용 효과를 규명하기 위해.
• 모델 용량이 증가함에 따라 분산 행동이 단일성에서 단조성으로 변화하는 계기 전이를 특성화하기 위해.

제안 방법

• 두 층의 선형 및 비선형 네트워크에 대해 대칭 성분으로 분해된 테스트 오차 분산을 분석하기 위해 분산 분석(ANOVA)을 적용하기 위해.
• 하르 랜덤 행렬에 대한 결정론적 등가 기법을 사용하여 분산 성분의 다루기 쉬운 근사값을 도출하기 위해.
• 레이블 노이즈, 초기화, 훈련 데이터 실현값에 대한 함수로 테스트 오차를 모델링하여 각 성분의 기여를 분리하기 위해.
• 분산 분해에서의 마진 효과 및 상호작용 효과에 대한 해석적 표현을 유도하기 위해.
• 이론적 결과를 수치 시뮬레이션과 실증 데이터 사례를 통해 검증하기 위해.
• 모델 매개변수화 수준에 따라 분산 성분의 변화를 추적하여 계기 전이를 탐지하기 위해.

실험 결과

연구 질문

• RQ1 과다매개변수화된 모델에서 레이블 노이즈, 초기화, 훈련 데이터 랜덤성의 상대적 기여도는 테스트 오차 분산에 어떻게 기여하는가?
• RQ2 초기화와 훈련 데이터의 마진 효과와 상호작용 효과의 크기는 어떻게 비교되는가?
• RQ3 테스트 오차 분산이 단일성 또는 단조성 행동을 보일 조건은 무엇인가?
• RQ4 모델 용량이 증가함에 따라 분산 구조에서 발생하는 계기 전이는 무엇인가?
• RQ5 훈련 데이터와 초기화 간의 상호작용 효과는 일반화 성능에 어떻게 영향을 미치는가?

주요 결과

• 훈련 데이터와 초기화 간의 상호작용이 테스트 오차 분산을 지배하며, 종종 개별 마진 효과의 합을 초월한다.
• 분산 성분은 모델 매개변수화의 함수로 단일성 행동를 보이며, 분산 곡선의 형태가 변화하는 명확한 계기 전이가 존재한다.
• 일반적인 과다매개변수화 설정에서 상호작용 효과는 초기화 또는 훈련 데이터의 마진 효과보다 항상 크다.
• ANOVA 분해는 레이블 노이즈가 분산에 상당한 기여를 하지만 대부분의 구성에서 지배적인 원인은 아니라는 것을 드러낸다.
• 분산 행동의 계기 전이는 분석적으로 특성화되었으며, 모델 용량과 데이터 분포의 변화와 연결되어 있다.
• 수치 시뮬레이션과 실증 데이터는 분산 분해 및 상호작용 지배성에 대한 이론적 예측을 확인한다.