[논문 리뷰] Quantile Regularization: Towards Implicit Calibration of Regression Models

Saiteja Utpala, Piyush Rai|arXiv (Cornell University)|2020. 02. 28.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 5

한 줄 요약

이 논문은 예측된 누적분포함수(CDF)와 경험적 누적분포함수(CDF) 간의 누적 KL 발산을 최소화함으로써 회귀 모델의 校정성(calibration)을 향상시키는 새로운 엔드투엔드 훈련 가능한 정규화 방법인 Quantile Regularization을 소개한다. 후행 보정(post-hoc) 방법과 달리 추가 캘리브레이션 데이터가 필요 없으며, 특히 소규모 데이터셋에서 일관되게 등비보정(Isotonic Recalibration)을 능가하여 다양한 회귀 벤치마크에서 캘리브레이션 오차를 최대 60%까지 감소시킨다.

ABSTRACT

Recent works have shown that most deep learning models are often poorly calibrated, i.e., they may produce overconfident predictions that are wrong. It is therefore desirable to have models that produce predictive uncertainty estimates that are reliable. Several approaches have been proposed recently to calibrate classification models. However, there is relatively little work on calibrating regression models. We present a method for calibrating regression models based on a novel quantile regularizer defined as the cumulative KL divergence between two CDFs. Unlike most of the existing approaches for calibrating regression models, which are based on post-hoc processing of the model's output and require an additional dataset, our method is trainable in an end-to-end fashion without requiring an additional dataset. The proposed regularizer can be used with any training objective for regression. We also show that post-hoc calibration methods like Isotonic Calibration sometimes compound miscalibration whereas our method provides consistently better calibrations. We provide empirical results demonstrating that the proposed quantile regularizer significantly improves calibration for regression models trained using approaches, such as Dropout VI and Deep Ensembles.

연구 동기 및 목표

• 회귀 모델에 대해 효과적이고 훈련 가능한 캘리브레이션 방법이 부족하여 일반적으로 과신되고 잘못 校정된다는 문제를 해결하기 위해.
• 추가 레이블된 데이터가 필요한 후행 보정에 의존하지 않고 엔드투엔드로 훈련 가능한 캘리브레이션 방법을 개발하기 위해.
• 딥 러닝 회귀 모델에서 예측 불확실성 추정의 신뢰성 향상하기 위해.
• 예측 평균과 분산을 출력하는 임의의 회귀 모델과 호환되는 일반적인 정규화 방법을 제공하기 위해.
• 등비보정과 같은 후행 보정 방법이 소규모 데이터셋에서 특히 실패할 수 있음을 보여주며, 때로는 캘리브레이션을 악화시킬 수 있음을 밝히기 위해.

제안 방법

• 예측된 CDF와 목표 변수의 경험적 CDF 간의 누적 KL 발산으로 정의된 새로운 분위수 정규화자(quantile regularizer)를 제안한다.
• 정규화자가 훈련 목표 함수에 직접 통합되어 별도의 캘리브레이션 데이터가 필요 없이 엔드투엔드 최적화가 가능하다.
• 드롭아웃-변동성 추론(Dropout-Variational Inference, Dropout-VI) 및 딥 앙상블과 같은 예측 평균과 분산을 출력하는 임의의 회귀 모델에 적용 가능하다.
• 정규화자가 모델의 예측 분위수를 진짜 경험적 분위수와 일치시키도록 유도함으로써 변동 캘리브레이션을 향상시킨다.
• 이론적 분석을 통해 이 정규화자를 최소화할 경우 약한 가정 하에 분위수 캘리브레이션을 달성할 수 있음을 보여준다.
• 실증 평가에서는 주로 캘리브레이션 오차(CE)를 메트릭으로 사용하며, 등비보정 및 베이스라인 모델과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 추가 캘리브레이션 데이터가 필요 없이 엔드투엔드로 훈련 가능한 정규화자가 회귀 모델의 캘리브레이션을 향상시킬 수 있는가?
• RQ2 제안된 분위수 정규화자가 다양한 회귀 작업 전반에서 후행 보정 방법인 등비보정보다 일관되게 뛰어나게 되는가?
• RQ3 후행 방법이 데이터 부족으로 실패하기 쉬운 소규모 데이터셋에서 정규화자는 어떻게 성능을 내는가?
• RQ4 정규화자가 예측 정확도를 떨어뜨리거나 분산을 증가시키지 않고도 캘리브레이션을 향상시키는가?
• RQ5 이 정규화자가 다양한 회귀 아키텍처와 불확실성 추정 방법에 일반화 가능한가?

주요 결과

• 테스트한 10개의 회귀 데이터셋 전반에서 Quantile Regularization이 캘리브레이션 오차를 크게 감소시켰으며, 기준 모델 대비 상대적 개선 폭이 최대 60%에 이르렀다.
• Air Foil 및 Boston Housing 데이터셋에서 등비보정은 캘리브레이션 오차를 각각 79%와 34% 증가시켰지만, Quantile Regularization은 각각 32.5%와 28.1% 감소시켰다.
• Protein Structure 및 Year Prediction MSD 데이터셋에서 등비보정은 오차를 0.09%에서 0.05%로 증가시켰지만, Quantile Regularization은 각각 3.07%와 2.41%로 낮은 오차를 유지했다.
• Dropout-VI 및 딥 앙상블을 포함한 다양한 기본 모델에 대해 일관되게 캘리브레이션을 향상시켜 광범위한 적용 가능성을 입증했다.
• Concrete Strength, Protein Structure, Year Prediction MSD에서 정규화 강도 λ가 증가함에 따라 캘리브레이션 오차가 단조롭게 감소함을 관찰하여 안정적인 최적화를 보였다.
• 이 정규화자가 진짜 캘리브레이션 오차의 일관된 추정자임을 입증하였으며, 이론적 수렴 보장 조건이 존재한다.