[論文レビュー] Bayesian Posteriors Without Bayes' Theorem

Theodore P. Hill, Marco Dall’Aglio|arXiv (Cornell University)|Mar 1, 2012

Bayesian Modeling and Causal Inference参考文献 5被引用数 3

ひとこと要約

この論文は、ベイズの定理や条件付き確率の解釈を必要とせずに、シャノン情報量の損失を最小化する、最大最小尤度比を最小化する、および割合的統合を保証するという複数の最適化問題の唯一の解として、ベイズ後確率が自然に導かれるということを示している。主な貢献は、情報理論的および最適化的原理を用いたベイズ後確率の基礎的正当化であり、古典的統計とベイズ統計の調和を図るものである。

ABSTRACT

The classical Bayesian posterior arises naturally as the unique solution of several different optimization problems, without the necessity of interpreting data as conditional probabilities and then using Bayes' Theorem. For example, the classical Bayesian posterior is the unique posterior that minimizes the loss of Shannon information in combining the prior and the likelihood distributions. These results, direct corollaries of recent results about conflations of probability distributions, reinforce the use of Bayesian posteriors, and may help partially reconcile some of the differences between classical and Bayesian statistics.

研究の動機と目的

• ベイズの定理や条件付き確率の解釈に依存せずに、情報損失を伴う最適化問題の唯一の解としてベイズ後確率を確立すること。
• ベイズ後確率が情報理論的最適化から自然に導かれるという事実を示すことにより、古典的統計とベイズ統計の枠組みを調和させること。
• 事前分布と尤度関数に異なる重要性を割り当てた場合の後確率分布の一般化を図ること。
• 重み付きシャノン情報量の最大損失を最小化する分布としての最適後確率を特定することにより、古典的ベイズ枠組みを拡張すること。

提案手法

• 事前分布と尤度関数の組み合わせられたシャノン情報量を、それぞれの驚異値の和として定式化する：$ S_{\{P_0,L\}}(A) = -\log_2 P_0(A)L(A) $。
• 情報損失を、組み合わせた情報量と後確率の驚異値の最大差として定義する：$ M(P_1; P_0, L) = \max_A \left\{ \log_2 \frac{P_1(A)}{P_0(A)L(A)} \right\} $。
• ベイズ後確率が、この最大情報損失を最小化する唯一の分布であることを特定する。
• 相対的重み $ w_0 $ と $ w_L $ を用いたシャノン情報量の重み付き版を導入し、$ \max(w_0, w_L) $ で正規化する。
• 最適な重み付き後確率を $ p^w_1(\theta) \propto (p_0(\theta))^{w_0 / \max(w_0,w_L)} (p_L(\theta))^{w_L / \max(w_0,w_L)} $ として導出する。これは $ w_0 = w_L $ のとき標準的なベイズ後確率に還元される。
• ベイズ後確率が最大最小尤度比と比例的統合基準の解と等価であることを確立する。

実験結果

リサーチクエスチョン

• RQ1 ベイズの定理や条件付き確率を用いずに、ベイズ後確率を導出できるか？
• RQ2 ベイズ後確率は、事前分布と尤度関数を組み合わせる際のシャノン情報量損失を最小化する最適化問題の唯一の解であるか？
• RQ3 事前分布と尤度関数に異なる重み $ w_0 $ と $ w_L $ を割り当てた場合、ベイズ後確率はどのように一般化できるか？
• RQ4 ベイズ後確率は、事前分布と尤度関数の間の最大最小尤度比を最小化するか？
• RQ5 ベイズ後確率は、事前分布と尤度関数の唯一の比例的統合であるか？

主な発見

• ベイズ後確率は、事前分布と尤度関数を組み合わせる際、最大情報損失を最小化する唯一の分布である。
• ベイズ後確率は、事前分布と尤度関数の間の最大最小尤度比を最小化するものであり、別の基準においても最適性が確認されている。
• ベイズ後確率は、事前分布と尤度関数の唯一の比例的統合である。これは、結果間の相対的オッズを保持していることを意味する。
• 事前分布と尤度関数に重み $ w_0 $ と $ w_L $ を割り当てた場合、最適な後確率は、正規化された事前分布と尤度関数密度のべき乗積として与えられる。
• 重み付き後確率は $ w_0 = w_L $ のとき、標準的なベイズ更新と一致し、一貫性が確認される。
• 結果として、ベイズ後確率に非ベイズ的基礎を情報理論的および最適化的原理を用いて提供し、統計的パラダイムを超えてその使用を支持する。