[논문 리뷰] A framework for probabilistic inferences from imperfect models

Meng Li, David B. Dunson|arXiv (Cornell University)|2016. 11. 04.

Gaussian Processes and Bayesian Inference참고 문헌 27인용 수 3

한 줄 요약

이 논문은 Kullback-Leibler 발산을 사용하여 비모수 베이지안 기준에 비해 모델의 품질을 상대적으로 측정하는 새로운 프레임워크인 절대 모형 확률을 소개한다. 이 논문에서 도출된 D-확률은 전통적인 사후 모형 확률의 대안으로서 사전 분포에 민감하지 않으며, 모형의 복잡성에 자동으로 페널티를 주어 정확한 모형이 없더라도 신뢰할 수 있는 모형 비교를 가능하게 한다.

ABSTRACT

The Bayesian paradigm provides a natural way to deal with uncertainty in model selection through assigning each model in a list of models under consideration a posterior probability. Unfortunately, this framework relies on the assumption that one of the models in the list is the true model. When this assumption is violated and all the models are imperfect, interpretation of posterior model probabilities is unclear. We propose a new concept of {\em absolute} model probabilities, which measure the quality of imperfect models. This concept leads to divergence-based estimates ({\em D-probabilities}) relying on evaluating parametric models relative to a nonparametric Bayesian reference using Kullback-Leibler divergence. While providing good-of-fit assessment, D-probabilities avoid some of the pitfalls of usual posterior model probabilities including large sensitivity to prior choice. In an application to linear model selection against a Gaussian process reference, we provide simple analytic forms for routine implementation and show that D-probabilities automatically penalize model complexity. Some asymptotic properties of this framework are described. Absolute model probabilities have several interesting probabilistic interpretations, and can potentially be applied in broad problems. The framework is illustrated through simulations and applications.

연구 동기 및 목표

• 모든 모형이 불완전할 경우 베이지안 모형 선택의 한계를 해결하고, 집합 내 모형 중 하나가 참임을 가정하는 데 도전한다.
• 모형의 진실성과는 독립적으로 모형 품질을 평가하는 일관된 프레임워크를 개발한다. 주로 적합도와 복잡성에 초점을 맞춘다.
• 사전 분포 선택에 큰 민감도를 보이지 않는 사후 모형 확률의 강력한 대안을 제공한다.
• 표준 베이지안 모형 평균화가 모형 불일치로 실패하는 상황에서도 실용적인 모형 비교를 가능하게 한다.

제안 방법

• 비모수 베이지안 기준 분포에 대해 상대적인 모형 품질 측도로 절대 모형 확률을 제안한다.
• 모형 간의 차이를 측정하기 위해 Kullback-Leibler 발산을 사용한다.
• 편향 기반 추정치인 D-확률을 유도하여, 기준 분포와의 적합도를 반영한다. 낮은 발산은 높은 품질을 의미한다.
• 선형 모형과 가우시안 프로세스 기준을 대상으로 프레임워크를 적용하여, 일상적인 사용을 위한 해석적 표현을 도출한다.
• 추가적인 사전 조정 없이도 발산 측도를 통해 모형 복잡성에 자동으로 페널티를 주는 방법을 통합한다.
• 정규 조건 하에서 D-확률 프레임워크의 渐近적 성질을 수립한다.

실험 결과

연구 질문

• RQ1 집합 내 모든 모형이 불완전할 경우, 어떻게 모형 품질을 의미 있게 평가할 수 있는가?
• RQ2 사전 분포 선택에 민감하지 않은, 사후 모형 확률의 원칙적인 대안은 무엇인가?
• RQ3 모형의 복잡성에 대한 자동 페널티를 주기 위해 우도 최대화를 기반으로 한 측도를 사용할 수 있는가?
• RQ4 모형 불일치 조건 하에서 D-확률은 어떻게 渐近적으로 행동하는가?
• RQ5 절대 모형 확률의 확률적 해석과 실용적 함의는 무엇인가?

주요 결과

• D-확률은 사전 분포에 민감하지 않으며, 어떤 모형도 정확하지 않을 경우에도 해석 가능한 모형 품질 측도를 제공한다.
• Kullback-Leibler 발산을 통해 모형 복잡성에 자동으로 페널티를 주어 추가 정규화가 필요 없도록 한다.
• 선형 모형과 가우시안 프로세스 기준 하에서 D-확률의 해석적 표현을 유도하여 간편한 구현을 가능하게 한다.
• D-확률은 사후 모형 확률이 겪는 문제들(예: 사전 분포 선택에 대한 극도로 민감한 반응)을 피한다.
• 정규 조건 하에서 프레임워크는 일관된 모형 순위 매기기 지원을 위한 바람직한 渐近적 성질을 보인다.
• 절대 모형 확률은 모형 적합도에 대한 새로운 확률적 해석을 제공하며, 모형 진실성의 가정을 초월한 베이지안 추론을 확장한다.