[논문 리뷰] The Calibration Generalization Gap

A. Michael Carrell, Neil Mallinar외 2명|arXiv (Cornell University)|2022. 10. 05.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 표준 일반화 이론과 유사한 일반화 이론에 기반해 校정 오차를 학습 校정 오차와 校정 일반화 갭으로 분해하는 새로운 방법을 제안한다. 실증적으로는 딥 뉴럴 네트워크가 대부분의 경우 학습 데이터에서 거의 항상 잘 校정되어 있음을 발견하였으며(TrainECE ≈ 0), 校정 일반화 갭이 표준 일반화 갭에 의해 상한으로 제한됨을 보여, 일반화 갭이 작은 모델은 잘 校정되어 있음을 시사한다.

ABSTRACT

Calibration is a fundamental property of a good predictive model: it requires that the model predicts correctly in proportion to its confidence. Modern neural networks, however, provide no strong guarantees on their calibration -- and can be either poorly calibrated or well-calibrated depending on the setting. It is currently unclear which factors contribute to good calibration (architecture, data augmentation, overparameterization, etc), though various claims exist in the literature. We propose a systematic way to study the calibration error: by decomposing it into (1) calibration error on the train set, and (2) the calibration generalization gap. This mirrors the fundamental decomposition of generalization. We then investigate each of these terms, and give empirical evidence that (1) DNNs are typically always calibrated on their train set, and (2) the calibration generalization gap is upper-bounded by the standard generalization gap. Taken together, this implies that models with small generalization gap (|Test Error - Train Error|) are well-calibrated. This perspective unifies many results in the literature, and suggests that interventions which reduce the generalization gap (such as adding data, using heavy augmentation, or smaller model size) also improve calibration. We thus hope our initial study lays the groundwork for a more systematic and comprehensive understanding of the relation between calibration, generalization, and optimization.

연구 동기 및 목표

• 다양한 아키텍처와 설정에서 딥 뉴럴 네트워크의 校정에 대한 모순되는 경험적 결과를 명확히 하기 위해.
• DNN에서 校정에 영향을 미치는 요인을 이해하기 위한 체계적인 프레임워크의 부재를 해결하기 위해.
• 일반화 이론과 유사한 校정 오차의 분해를 제안하여 최적화(학습 데이터)와 일반화(테스트 데이터) 성분을 분리하기 위해.
• 다양한 모델 아키텍처와 학습 방식에서 학습 및 테스트 校정 오차의 행동을 경험적으로 조사하기 위해.
• 일반화 이론의 관점에서 산발적인 관측(예: 데이터 증강, 모델 크기)을 통합하기 위해.

제안 방법

• 표준 일반화 이론을 모방하여 테스트 校정 오차를 학습 校정 오차(TrainECE)와 校정 일반화 갭(|TestECE - TrainECE|)으로 분해한다.
• 학습 및 테스트 데이터 양쪽에서 校정 오차를 측정하기 위해 기대 校정 오차(Expected Calibration Error, ECE)를 주요 지표로 사용한다.
• 아키텍처, 모델 크기, 학습 기간, 데이터 증강, 데이터셋 크기 등 다양한 설정에서 TrainECE와 校정 일반화 갭을 경험적으로 평가한다.
• 과잉 파rameter화된 모델과 과소 파rameter화된 모델을 비교하여 효과적 파arameter화가 校정에 미치는 영향을 연구한다.
• 오차 일반화 갭과 校정 일반화 갭 간의 관계를 분석하여 후자가 전자의 상한으로 제한됨을 보여준다.
• 다양한 데이터셋과 모델 패밀리에서 실험을 수행하여 발견의 탄력성을 검증한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크가 어떤 조건에서 학습 데이터에서 잘 校정되어 있는가?
• RQ2 오차 측면에서 校정 일반화 갭이 표준 일반화 갭에 의해 상한으로 제한되는가?
• RQ3 과잉 파arameter화나 데이터 증강과 같은 아키텍처 선택이 校정 일반화 갭에 어떤 영향을 미치는가?
• RQ4 표준 일반화 갭을 줄이는 조치들(예: 데이터 증강, 더 작은 모델)이 校정을 얼마나 향상시키는가?
• RQ5 일반화 이론의 관점에서 DNN의 校정 행동을 체계적으로 이해할 수 있는가?

주요 결과

• 교차 엔트로피 손실로 훈련된 딥 뉴럴 네트워크는 다양한 아키텍처, 모델 크기, 학습 단계에서 학습 세트에서 경험적으로 잘 校정되어 있으며, TrainECE ≈ 0이 되며, 학습 오차가 높을 때조차도 그렇다.
• 학습 전반에 걸쳐 校정 일반화 갭(|TestECE - TrainECE|)이 표준 일반화 갭(|TestError - TrainError|)에 의해 경험적으로 상한으로 제한됨을 확인하였다.
• 과잉 파arameter화된 모델은 학습 중에 점차 증가하는 校정 일반화 갭을 보이며, 이는 증가하는 테스트 오차와 상관관계가 있다. 반면 과소 파arameter화된 모델은 낮은 校정 오차와 갭을 유지한다.
• 교정 일반화 갭은 학습 초반에 나타나며 안정적으로 유지되며, 과잉 파arameter화된 모델은 테스트 ECE에서 과소 파arameter화된 모델과 상당한 분리가 나타난다.
• 오차 일반화 갭과 校정 일반화 갭 간의 선형 관계는 다양한 아키텍처와 학습 배치에서 유지된다.
• 표준 일반화 갭을 줄이는 조치들(예: 데이터 증강, 데이터 증가, 더 작은 모델 크기)은 校정을 향상시킬 것으로 예상되며, 이는 이전에 산발적이었던 관측을 통합한다.