[논문 리뷰] Distribution Calibration for Regression

Hao Song, Tom Diethe외 2명|arXiv (Cornell University)|2019. 05. 15.

Gaussian Processes and Bayesian Inference참고 문헌 31인용 수 9

한 줄 요약

이 논문은 회귀에서 분포 캘리브레이션을 소개하며, 다중 출력 가우시안 프로세스와 새로운 베타 링크 함수를 사용한 사후 보정 방법을 제안한다. 이 방법은 불확실성 추정치를 캘리브레이션한다. GP-Beta 방법은 다양한 회귀 모델에서 분포 수준 및 퀀틸 수준의 캘리브레이션을 향상시키며, 실제 데이터 및 시뮬레이션 데이터에서 기존의 등치성 회귀보다 우수한 성능을 보인다.

ABSTRACT

We are concerned with obtaining well-calibrated output distributions from regression models. Such distributions allow us to quantify the uncertainty that the model has regarding the predicted target value. We introduce the novel concept of distribution calibration, and demonstrate its advantages over the existing definition of quantile calibration. We further propose a post-hoc approach to improving the predictions from previously trained regression models, using multi-output Gaussian Processes with a novel Beta link function. The proposed method is experimentally verified on a set of common regression models and shows improvements for both distribution-level and quantile-level calibration.

연구 동기 및 목표

• 딥 뉴럴 네트워크와 같은 복잡하거나 사전 훈련된 모델에 대해 잘 캘리브레이션된 불확실성 추정치의 부족을 해결하기 위해.
• 기존의 퀀틸 캘리브레이션보다 더 강력하고 더 정보적인 캘리브레이션 형태인 분포 수준의 캘리브레이션을 정의하고 형식화하기 위해.
• 기본 회귀 모델을 재학습하지 않고도 불확실성 추정을 향상시키는 확장 가능한 사후 보정 방법을 개발하기 위해.
• 분포 캘리브레이션이 자연스럽게 퀀틸 캘리브레이션을 함의하며, 더 일관된 불확실성 표현을 제공함을 보여주기 위해.
• 가우시안 프로세스와 새로운 링크 함수를 사용하여 조건부 밀도 추정치를 캘리브레이션하기 위한 유연하고 확률론적 프레임워크를 제공하기 위해.

제안 방법

• 각 입력 인스턴스에 대해 평균과 분산을 학습하는 다중 출력 가우시안 프로세스 모델을 제안하여, 인스턴스별 캘리브레이션을 가능하게 한다.
• 모델 출력을 캘리브레이션된 예측 분포로 매핑하기 위해 새로운 베타 링크 함수를 도입하여 적절한 확률적 제약 조건을 보장한다.
• 유도 포인트를 사용한 스토하스틱 변분 추론을 활용하여 대규모 데이터셋에 스케일링하면서도 계산 효율성을 유지한다.
• 등치성 회귀의 전역 맵과는 달리, 각 입력에 따라 변하는 학습된 캘리브레이션 맵을 통해 예측 CDF를 경험적 퀀틸과 일치시킨다.
• 평가를 위해 각 인스턴스당 4096개의 점을 기반으로 삼각형 근사법을 사용하여 기대값을 추정하고 NLL를 계산한다.
• 배치당 64개의 몬테카를로 샘플을 사용하여 ADAM을 최적화하고, 데이터의 75/25 분할로 훈련한다.

실험 결과

연구 질문

• RQ1 분포 수준의 캘리브레이션이 회귀에서 정의되고 형식화될 수 있으며, 이는 기존의 퀀틸 캘리브레이션보다 더 나은 불확실성 정량화를 이끌 수 있는가?
• RQ2 재학습 없이도 사전 훈련된 회귀 모델의 캘리브레이션을 사후 보정 방법으로 향상시킬 수 있는가?
• RQ3 제안된 GP-Beta 방법이 분포 수준 및 퀀틸 수준의 캘리브레이션 모두에서 기존의 사후 보정 기법(예: 등치성 회귀)을 초월하는가?
• RQ4 이 방법은 대규모 데이터셋에 어떻게 스케일링되며, 유도 포인트의 수가 성능에 어떤 영향을 미치는가?
• RQ5 이 방법은 다양한 회귀 모델과 다양한 데이터 분포를 가진 실제 데이터셋에서 강건한가?

주요 결과

• GP-Beta 방법은 평가된 모든 지표에서 일관되게 캘리브레이션 성능을 향상시키며, 특히 분포 캘리브레이션에 가장 민감한 NLL에서 뚜렷한 개선을 보였다.
• 대부분의 데이터셋에서 GP-Beta는 분포 수준 및 퀀틸 수준의 캘리브레이션 모두에서 등치성 회귀를 능가했으며, 국소 캘리브레이션이 필요한 시뮬레이션 데이터에서 가장 큰 성과를 보였다.
• 8개의 유도 포인트로도 강력한 성능을 보였으며, Airfoil 데이터셋(n=1503)과 같이 더 큰 데이터셋에서는 64개로 증가시킬 경우 성능 향상이 두드러졌다. 이는 더 많은 유도 포인트로 스케일링 성능을 향상시킬 수 있음을 시사한다.
• Energy 데이터셋(n=19,735)에서는 등치성 회귀가 표적 분포의 영역 근처에서의 단계적 변화로 인해 예상치 못한 낮은 NLL를 기록했으며, 이는 전역 캘리브레이션 방법의 위험성을 보여준다.
• 모든 경우에서 GP-Beta는 유도 포인트의 수에 관계없이 가장 낮은 NLL를 기록했으며, 이는 분포 캘리브레이션에서의 강건성과 우수성을 입증한다.
• 그림 2에서 시각화한 바와 같이, GP-Beta는 등치성 회귀가 모든 입력에 대해 동일한 전역 맵을 적용하는 것과는 달리, 인스턴스별 캘리브레이션 맵을 성공적으로 학습했다.