[논문 리뷰] Testing whether a Learning Procedure is Calibrated

Jon Cockayne, Matthew M. Graham외 3명|ePrints Soton (University of Southampton)|2020. 12. 23.

Gaussian Processes and Bayesian Inference참고 문헌 55인용 수 4

한 줄 요약

이 논문은 베이지안 또는 강건한 베이지안 추론과 같은 학습 절차가 보정되어 있는지 여부를 테스트하기 위한 일반적 프레임워크를 제안한다. 이는 참 수치가 출력 분포에서 타당한 추출값이 되는지를 의미한다. 예측 통합 변환(PIT)에 대한 시뮬레이션 기반 가설 검정과 콜모고로프-스미르노프(Kolmogorov–Smirnov) 검정을 사용하여 강한 보정과 약한 보정을 평가하며, 모형 오특사용 하에서 분수형 사후 분포가 보정을 향상시킬 수 있음을 보여준다.

ABSTRACT

A learning procedure takes as input a dataset and performs inference for the parameters $θ$ of a model that is assumed to have given rise to the dataset. Here we consider learning procedures whose output is a probability distribution, representing uncertainty about $θ$ after seeing the dataset. Bayesian inference is a prime example of such a procedure, but one can also construct other learning procedures that return distributional output. This paper studies conditions for a learning procedure to be considered calibrated, in the sense that the true data-generating parameters are plausible as samples from its distributional output. A learning procedure whose inferences and predictions are systematically over- or under-confident will fail to be calibrated. On the other hand, a learning procedure that is calibrated need not be statistically efficient. A hypothesis-testing framework is developed in order to assess, using simulation, whether a learning procedure is calibrated. Several vignettes are presented to illustrate different aspects of the framework.

연구 동기 및 목표

• 학습 절차가 매개변수에 대한 확률 분포를 출력할 때, 그 보정 개념을 정의하고 체계화하는 것.
• 베이지안 추론을 초과하는 임의의 학습 절차에 적용 가능한 일반적이고 수학적으로 정확한 보정 정의의 부재를 해결하는 것.
• 학습 절차가 보정되어 있는지 평가하기 위한 실용적이고 시뮬레이션 기반의 가설 검정 프레임워크를 개발하는 것.
• 강한 보정과 약한 보정을 구분하여 철저한 평가와 더 쉽게 접근 가능한 테스트를 가능하게 하는 것.
• 모형 오특사용 하에서 베이지안, 변분, 강건한 베이지안 방법을 포함한 다양한 학습 절차에 대해 이 프레임워크를 적용하여 설명하는 것.

제안 방법

• 약한 정칙 조건 하에서 데이터에서 매개변수에 대한 사후 분포로의 가측 함수로 학습 절차를 체계화한다.
• 강한 보정을 정의: 참 매개변수의 예측 통합 변환(PIT)이 [0,1]에서 균일 분포를 이룬다.
• 약한 보정을 정의: 반복 샘플링 하에서 PIT 분포가 균일 분포와 확률적으로 동일하다는 조건이다.
• 콜모고로프-스미르노프(KS) 검정을 사용하여 PIT가 균일 분포를 이룬다는 귀무가설을 평가함으로써 보정의 통계적 검정을 가능하게 한다.
• 모형 오특사용 하에서 알려진 데이터 생성 모형을 사용한 시뮬레이션 데이터에 프레임워크를 적용하여 다양한 학습 절차의 보정을 테스트한다.
• 몬테카를로 샘플링을 사용하여 PIT 분포를 추정하고 보정 평가를 위한 검정 통계량을 계산한다.

실험 결과

연구 질문

• RQ1 학습 절차가 매개변수에 대한 확률 분포를 출력할 때, 일반적이고 수학적으로 엄밀한 보정 정의는 무엇인가?
• RQ2 후행 분포가 계산이 어려운 경우나 모형이 오특사용된 경우, 실무적으로 학습 절차가 보정되어 있는지 어떻게 테스트할 수 있는가?
• RQ3 분수형 사후나 변분 베이지안과 같은 대안적 학습 절차가 표준 베이지안 추론에 비해 보정을 얼마나 향상시키는가?
• RQ4 제안된 프레임워크는 모형 오특사용 하에서 학습 절차의 과신 또는 보정 오류를 감지할 수 있는가?
• RQ5 강한 보정과 약한 보정은 실무적 함의와 검정 가능성에서 어떻게 다를까?

주요 결과

• 이상 모형 오특사용 하에서 분수형 사후 분포 방법($ t = 0.1, 0.2, 0.3 $)이 표준 베이지안 추론보다 보정이 향상되었으며, 이는 PIT 분포가 더 균일한 것으로 나타났다.
• 모형 오특사용 하에서 표준 베이지안 추론에 대해 PIT에 대한 KS 검정은 강한 보정의 귀무가설을 기각하여 보정 오류를 시사한다.
• 분수형 사후 분포의 경우 PIT 분포가 더 균일하며, KS 검정의 p-값도 높아, 특히 $ t = 0.1 $일 때 보정이 더 우수하다는 것을 시사한다.
• 프레임워크는 후행 예측 점검이 수용 가능하게 보일지라도, 표준 베이지안 추론에서 PIT의 균일성에서의 현저한 이탈을 통해 과신을 감지할 수 있다.
• 약한 보정은 강한 보정보다 더 쉽게 검정 가능하며, 정확한 사후 분포 계산이 필요 없이도 보정 평가를 위한 실용적 경로를 제공한다.
• 결과는 보정이 통계적 효율성이나 예측 성능과 별개로 평가되어야 할 독립적이고 중요한 요구사항임을 시사한다.