[논문 리뷰] Diagnosing model misspecification and performing generalized Bayes' updates via probabilistic classifiers

Owen Thomas, Jukka Corander|arXiv (Cornell University)|2019. 12. 12.

Gaussian Processes and Bayesian Inference참고 문헌 16인용 수 8

한 줄 요약

이 논문은 베이지안 추론에서 모형 부적합성을 진단하고 가능도 온도 조절을 통해 일반화 베이지안 업데이트를 안내하기 위해 확률적 분류기를 사용하는 방법을 제안한다. 관측된 데이터와 다양한 파라미터 값 하에서 시뮬레이션된 데이터를 구분하도록 분류기를 훈련시킴으로써, 이 방법은 로그 가능도 비율을 추정하며, 그 기대값은 모형과 진짜 데이터 생성 과정 사이의 음의 쿨백-라이블러 발산을 근사한다. 이는 진짜 모형이 필요 없이 강건한 모형 평가와 최적의 온도 조절 수준 선택을 가능하게 한다.

ABSTRACT

Model misspecification is a long-standing enigma of the Bayesian inference framework as posteriors tend to get overly concentrated on ill-informed parameter values towards the large sample limit. Tempering of the likelihood has been established as a safer way to do updates from prior to posterior in the presence of model misspecification. At one extreme tempering can ignore the data altogether and at the other extreme it provides the standard Bayes' update when no misspecification is assumed to be present. However, it is an open issue how to best recognize misspecification and choose a suitable level of tempering without access to the true generating model. Here we show how probabilistic classifiers can be employed to resolve this issue. By training a probabilistic classifier to discriminate between simulated and observed data provides an estimate of the ratio between the model likelihood and the likelihood of the data under the unobserved true generative process, within the discriminatory abilities of the classifier. The expectation of the logarithm of a ratio with respect to the data generating process gives an estimation of the negative Kullback-Leibler divergence between the statistical generative model and the true generative distribution. Using a set of canonical examples we show that this divergence provides a useful misspecification diagnostic, a model comparison tool, and a method to inform a generalised Bayesian update in the presence of misspecification for likelihood-based models.

연구 동기 및 목표

• 대규모 표본 한계에서 모형이 잘못 설정되어 있을 경우 사후분포가 열악한 파라미터 값에 집중되는 문제를 다루기 위해.
• 진짜 데이터 생성 모형이 알려져 있지 않은 상황에서 일반화된 베이지안 업데이트에 최적의 온도 조절 수준 t를 선택하기 위한 방법을 개발하기 위해.
• 진짜 모형에 대한 액세스나 명시적 가능도 계산이 필요 없이 모형 사양을 진단할 수 있는 도구를 제공하기 위해.
• 분류기 기반의 밀도 비율 추정을 베이지안 추론에 통합하여, 부적합성 하에서도 강건한 성능을 향상시키기 위해.

제안 방법

• 관측된 데이터와 다양한 파라미터 값 하에서 통계 모형에서 시뮬레이션된 데이터를 구분하도록 확률적 분류기를 훈련시킨다.
• 분류기의 오즈 비율을 사용하여 모형 가능도와 진짜 데이터 생성 가능도의 비율을 추정함으로써 밀도 비율 추정을 가능하게 한다.
• 진짜 데이터 생성 과정 하에서 기대 로그 오즈 비율을 계산하여, 모형과 진짜 분포 사이의 음의 쿨백-라이블러 발산을 근사한다.
• 추정된 KL 발산을 모형 부적합성의 진단 도구로 사용하며, 값이 클수록 더 큰 이질성이 있음을 나타낸다.
• 추정된 로그 비율에 대해 일측 t-검정을 적용하여 모형이 유의미하게 부적합한지 평가한다 (p-값 < 0.05는 부적합성을 나타낸다).
• 이 진단 결과를 바탕으로 일반화된 사후 업데이트에서 온도 매개변수 t의 선택을 안내하여, 부적합한 모형에 대한 과신을 피한다.

실험 결과

연구 질문

• RQ1 진짜 데이터 생성 모형이 없는 상황에서 확률적 분류기가 모형 부적합성을 신뢰성 있게 탐지할 수 있는가?
• RQ2 분류기 기반의 로그 가능도 비율 추정치가 모형과 진짜 분포 사이의 진짜 음의 쿨백-라이블러 발산을 얼마나 잘 근사하는가?
• RQ3 추정된 발산을 사용하여 일반화된 베이지안 업데이트에서 최적의 온도 매개변수 t를 선택하는 데 유용한가?
• RQ4 특히 진짜 모형이 모형 클래스 외부에 있을 경우, 분류기 교정과 모형 복잡성에 대해 이 방법이 얼마나 강건한가?

주요 결과

• 기대 오즈 비율의 분류기 기반 추정치는 통계 모형과 진짜 데이터 생성 과정 사이의 음의 쿨백-라이블러 발산을 잘 근사하며, 유효한 부적합성 진단 도구가 된다.
• 추정된 로그 비율에 대해 일측 t-검정을 수행하면 부적합성에 대한 공식적인 가설 검정이 가능하며, p-값이 0.05 이하일 경우 모형의 부적합성이 유의미하게 나타난다.
• 모든 테스트된 표준 모형들—정규분포, 포oisson, 선형 회귀—에서 진짜 분포가 가정된 모형과 다를 경우 (예: 라플라스 vs. 정규분포, 음의 이항분포 vs. 포oisson) 이 방법은 부적합성을 성공적으로 탐지하였다.
• 이 방법은 사전 정보와 데이터 증거를 균형 잡는 최적의 온도 조절 수준 t를 식별할 수 있으며, 부적합한 모형에 대한 과신을 줄인다.
• 인간의 직관이 실패할 수 있는 복잡한 분류 작업에서도 이 방법은 잘 조절되어 있으며, 가설 검정에서 KL 발산의 과소추정은 보수적인 경향을 보인다.
• 보조 그림들은 다양한 모형 유형과 온도 조절 수준에서 진짜 값과 분류기 추정 값 간의 강한 일치를 확인한다.