[논문 리뷰] On double-descent in uncertainty quantification in overparametrized models

Lucas Clarté, Bruno Loureiro외 2명|arXiv (Cornell University)|2022. 10. 23.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 랜덤 특징 모델를 사용하여 과다 매개변수화된 이진 분류에서의 불확실성 정량화에 대한 날카운 점근적 분석을 제공한다. 정규화된 추정기에서 校정 오차에 대한 双降현상(두 번의 내림막대)을 드러내며, 일반화 오차가 더 높음에도 불구하고 경험 베이즈 방법이 잘 校정되어 있음을 보여주어 현대 기계 학습 모델에서의 불확실성 校정 오류에 대한 이론적 통찰을 제공한다.

ABSTRACT

Uncertainty quantification is a central challenge in reliable and trustworthy machine learning. Naive measures such as last-layer scores are well-known to yield overconfident estimates in the context of overparametrized neural networks. Several methods, ranging from temperature scaling to different Bayesian treatments of neural networks, have been proposed to mitigate overconfidence, most often supported by the numerical observation that they yield better calibrated uncertainty measures. In this work, we provide a sharp comparison between popular uncertainty measures for binary classification in a mathematically tractable model for overparametrized neural networks: the random features model. We discuss a trade-off between classification accuracy and calibration, unveiling a double descent like behavior in the calibration curve of optimally regularized estimators as a function of overparametrization. This is in contrast with the empirical Bayes method, which we show to be well calibrated in our setting despite the higher generalization error and overparametrization.

연구 동기 및 목표

• 과다 매개변수화된 모델에서의 불확실성 측정 방법에 대한 엄밀한 수학적 비교를 제공하는 것.
• 고차원 설정에서 분류 정확도와 校정 간의 상충관계를 조사하는 것.
• 다양한 과다 매개변수화 수준에서 校정 곡선의 행동을 분석하는 것.
• 온도 스케일링 및 경험 베이즈와 같은 인기 있는 불확실성 추정 방법의 성능을 점진적 분석 하에 평가하는 것.
• 현대 딥 러닝 환경에서의 불확실성 정량화에 대한 이론적 보장을 수립하는 것.

제안 방법

• 구조적 특징을 가진 이진 분류에 대해 해석 가능하고 해를 구할 수 있는 프레임워크로 랜덤 특징 모델을 사용한다.
• 일반화 오차와 校정을 정확하게 유도하기 위해 점근적 통계역학 기법, 예를 들어 근사 메시지 전달 및 복제 방법을 적용한다.
• 다양한 불확실성 추정기 간 비교: 경험 리스크 최소화(Empirical Risk Minimization, ERM), 베이지안 추정기(예: 라플라스 근사), 경험 베이즈(증거 최대화 포함).
• 조건부 기대와 사후 근사에 기반해 기대 신뢰도와 校정 오차의 정확한 표현을 유도한다.
• 과다 매개변수화 수준(p/n)에 따라 校정 곡선을 상세히 분석하여 이중 내림막대 행동을 드러낸다.
• 다양한 설정(노이즈 수준과 모델 노름 변화 포함)에서 수치 시뮬레이션을 통해 결과를 검증한다.

실험 결과

연구 질문

• RQ1 고차원 이진 분류에서 과다 매개변수화 함수에 따라 정규화된 추정기의 校정 오차가 이중 내림막대 행동을 보이는가?
• RQ2 일반화 오차와의 비교에서 경험 베이즈 방법은 다른 불확실성 추정 방법보다 어떻게 다를까?
• RQ3 정규화는 과다 매개변수화된 모델에서 과신임을 완화하는 데 어떤 역할을 하는가?
• RQ4 왜 라플라스 근사와 같은 베이지안 방법은 고차원 설정에서 일반적으로 과소신임을 보이는가?
• RQ5 온도 스케일링은 다양한 과다 매개변수화 영역에서 ERM 기반 추정기의 校정 오차를 효과적으로 교정할 수 있는가?

주요 결과

• 최적의 정규화를 적용한 추정기(예: λloss 또는 λerror를 사용한 ERM)의 校정 오차는 과다 매개변수화(p/n)에 따라 이중 내림막대 행동을 보이며, 정확도와 校정 간의 상충관계를 시사한다.
• 경험 베이즈 방법, 특히 증거 최대화(λevidence)를 사용할 경우, 높은 일반화 오차에도 불구하고 모든 과다 매개변수화 수준에서 잘 校정되어 있음을 확인하였다.
• 라플라스 근사는 고차원 영역에서 일관되게 과소신임 예측을 유도하며, 특히 p/n 값이 클 경우 두드러진다.
• 온도 스케일링은 ERM 기반 추정기를 효과적으로 校정하여, λerror를 적용한 ERM에 대해 가장 우수한 성능을 보였다.
• 진짜 사후 신뢰도(f⋆|f̂)의 분산은 과다 매개변수화에 따라 증가하며, 특히 ERM 추정기의 경우 불안정한 불확실성 추정을 나타낸다.
• 이론적 분석은 딥 네트워크에서의 과신임이 비선형성의 산물이 아니며, 랜덤 특징 모델과 같은 선형 고차원 모델에서도 발생함을 확인하였다.