[논문 리뷰] Bayesian Posteriors Without Bayes' Theorem

Theodore P. Hill, Marco Dall’Aglio|arXiv (Cornell University)|2012. 03. 01.

Bayesian Modeling and Causal Inference참고 문헌 5인용 수 3

한 줄 요약

이 논문은 베이지안 사후분포가 베이즈 정리나 조건부 확률 해석을 필요로 하지 않고도 다수의 최적화 문제—샤논 정보 손실 최소화, 최대 최소 우도비 최소화, 비례 통합 보장—의 유일한 해로 자연스럽게 유도됨을 보여준다. 핵심 기여는 정보이론적 원리와 최적화 원리를 통해 베이지안 사후분포의 기초적 정당성을 제시함으로써 고전적 통계와 베이지안 통계 간의 조화를 이룬다는 데 있다.

ABSTRACT

The classical Bayesian posterior arises naturally as the unique solution of several different optimization problems, without the necessity of interpreting data as conditional probabilities and then using Bayes' Theorem. For example, the classical Bayesian posterior is the unique posterior that minimizes the loss of Shannon information in combining the prior and the likelihood distributions. These results, direct corollaries of recent results about conflations of probability distributions, reinforce the use of Bayesian posteriors, and may help partially reconcile some of the differences between classical and Bayesian statistics.

연구 동기 및 목표

• 베이즈 정리나 조건부 확률 해석을 기반으로 하지 않고도 정보 손실을 포함한 최적화 문제의 유일한 해로 베이지안 사후분포를 정립하는 것.
• 베이지안 사후분포가 정보이론적 최적화에서 자연스럽게 유도됨을 보여줌으로써 고전적 통계와 베이지안 통계 프레임워크를 조화시키는 것.
• 사전과 우도에 서로 다른 중요도를 부여하는 가중치가 있는 경우 사전분포와 우도분포의 일반화된 사후분포를 도출하는 것.
• 가중 샤논 정보 손실의 최대 손실을 최소화하는 분포로 최적의 사후분포를 식별하여 고전적 베이지안 프레임워크를 확장하는 것.

제안 방법

• 사전과 우도의 조합된 샤논 정보를 각각의 놀라움 값의 합으로 수식화함: $ S_{\{P_0,L\}}(A) = -\log_2 P_0(A)L(A) $.
• 정보 손실을 조합된 놀라움과 사후 놀라움 간의 최대 차이로 정의함: $ M(P_1; P_0, L) = \max_A \left\{ \log_2 \frac{P_1(A)}{P_0(A)L(A)} \right\} $.
• 이 최대 손실을 최소화하는 분포로 베이지안 사후분포가 유일하게 도출됨을 확인함.
• 상대적 가중치 $ w_0 $와 $ w_L $를 사용한 샤논 정보의 가중 버전을 도입하며, $ \max(w_0, w_L) $로 정규화함.
• 최적의 가중 사후분포를 유도함: $ p^w_1(\theta) \propto (p_0(\theta))^{w_0 / \max(w_0,w_L)} (p_L(\theta))^{w_L / \max(w_0,w_L)} $, 이는 $ w_0 = w_L $일 때 표준 베이지안 사후분포로 축소됨.
• 베이지안 사후분포가 최대 최소 우도비와 비례 통합 기준의 해와 동치임을 입증함.

실험 결과

연구 질문

• RQ1 베이즈 정리나 조건부 확률을 언급하지 않고도 베이지안 사후분포를 유도할 수 있는가?
• RQ2 베이지안 사후분포는 사전과 우도를 조합할 때 샤논 정보 손실을 최소화하는 최적화 문제의 유일한 해인가?
• RQ3 사전과 우도에 서로 다른 가중치 $ w_0 $와 $ w_L $를 할당할 경우 베이지안 사후분포는 어떻게 일반화될 수 있는가?
• RQ4 베이지안 사후분포는 사전과 우도 분포 간의 최대 최소 우도비를 최소화하는가?
• RQ5 베이지안 사후분포는 사전과 우도 분포의 유일한 비례 통합인가?

주요 결과

• 베이지안 사후분포는 사전과 우도 분포를 조합할 때 최대 샤논 정보 손실을 최소화하는 유일한 분포이다.
• 베이지안 사후분포는 사전과 우도 간의 최대 최소 우도비를 최소화함으로써 다른 기준 하에서도 최적임을 확인한다.
• 베이지안 사후분포는 사전과 우도의 유일한 비례 통합이므로 결과 간 상대적 오즈를 유지한다.
• 사전과 우도에 각각 다른 가중치 $ w_0 $와 $ w_L $를 할당할 경우 최적의 사후분포는 정규화된 사전과 우도 밀도의 거듭제곱 가중 곱으로 주어진다.
• 가중 사후분포는 $ w_0 = w_L $일 때 표준 베이지안 사후분포로 축소되어 고전적 베이지안 업데이트와 일관성을 유지함을 확인한다.
• 결과들은 정보이론적 원리와 최적화 원리를 활용해 베이지안 사후분포에 비베이지안적 기반을 제공함으로써 다양한 통계 철학적 프레임워크에서의 활용을 뒷받침한다.