[論文レビュー] Improper posteriors are not improper

Gunnar Taraldsen, Jarle Tufto+1 more|arXiv (Cornell University)|Oct 24, 2017

Evaluation and Performance Assessment参考文献 14被引用数 3

ひとこと要約

本論文は、リーニーの条件付き確率空間を用いてベイズ推論の厳密な公理的基盤を確立し、従来数学的に無効と見なされてきた不適切な事後分布が、この枠組み内では一貫性があり意味を持つことを示している。主な貢献は、リーニー空間における条件付き期待値の存在および一意性の証明であり、長年の懸念であった不適切な事前分布および事後分布の問題を解決している。

ABSTRACT

In 1933 Kolmogorov constructed a general theory that defines the modern concept of conditional expectation. In 1955 Renyi fomulated a new axiomatic theory for probability motivated by the need to include unbounded measures. We introduce a general concept of conditional expectation in Renyi spaces. In this theory improper priors are allowed, and the resulting posterior can also be improper. In 1965 Lindley published his classic text on Bayesian statistics using the theory of Renyi, but retracted this idea in 1973 due to the appearance of marginalization paradoxes presented by Dawid, Stone, and Zidek. The paradoxes are investigated, and the seemingly conflicting results are explained. The theory of Renyi can hence be used as an axiomatic basis for statistics that allows use of unbounded priors. Keywords: Haldane's prior; Poisson intensity; Marginalization paradox; Measure theory; conditional probability space; axioms for statistics; conditioning on a sigma field; improper prior

研究の動機と目的

• ベイズ統計における不適切な事前分布および事後分布の使用に対する哲学的・数学的反論を解消すること。
• 不適切な事後分布が本質的に無効であるのではなく、リーニーの公理的枠組み内では厳密に解釈可能であることを示すこと。
• 不適切な分布を正当な統計的対象として扱えるようにする、リーニー空間における条件付き期待値の形式的理論を提供すること。
• 不適切な事後分布の使用を標準的なベイズ更新と調和させ、逐次推論における一貫性を示すこと。
• 周辺化パラドックスを解消し、見かけの矛盾が理論の欠陥ではなく、不適切な測度の誤解に起因することを示すこと。

提案手法

• 非有界測度を許容するリーニーの確率の公理的枠組みを採用し、確率を「集合の塊」上の条件付き確率によって定義する。
• σ-有限でネストされた集合族（「塊」）によってインデックス付けられる確率測度の族を用いて、リーニー空間を定義し、不適切な分布を表現する。
• Radon-Nikodym定理と一般化されたリーニー構造定理を用いて、リーニー空間における条件付き期待値の存在および一意性を証明する。
• 有限集合上の条件付き確率測度の同値類として、不適切な事前分布（例：ハルデーンの事前分布、ℝ上の一様分布）を解釈する。
• 標準的な例に理論を適用する：不適切な事前分布π(λ) ∝ 1/λを用いたポアソン強度の推定、およびハルデーンの事前分布を用いたベルヌーイ成功確率の推定。
• 不適切な事後分布が確率測度ではないものの、信念の整合的な更新を表しており、逐次観測において一貫性を示すことを示す。

実験結果

リサーチクエスチョン

• RQ1 不適切な事後分布は、一貫した公理的確率枠組み内で厳密に正当化可能か？
• RQ2 ダウイド、ストーン、ジデックの周辺化パラドックスは、理論の欠陥に起因するのではなく、不適切な測度の誤解に起因するか？
• RQ3 非有界測度（例：不適切な事前分布や事後分布）を扱える一般の条件付き期待値理論は存在するか？
• RQ4 正規化されていない不適切な事後分布でも、依然として有効なベイズ更新を表せるか？
• RQ5 不適切な事後分布の使用は、標準的なベイズ推論および逐次更新とどのように調和できるか？

主な発見

• 不適切な事後分布は数学的に無効ではない。リーニーの条件付き確率枠組み内では厳密に定義可能である。
• リーニー空間における条件付き期待値の存在および一意性は、Radon-Nikodym定理と一般化されたリーニー構造定理を用いて証明された。
• ダウイド、ストーン、ジデックの周辺化パラドックスは、見かけの矛盾が不適切な測度の不一致な解釈に起因することを示すことによって解消された。
• ポアソン過程の例（事前分布π(λ) ∝ 1/λ、観測X₁ = 0）において、得られる事後分布π(λ|x=0) ∝ e^{-λt₁}/λは不適切であるが有効であり、信念の整合的な更新を反映している。
• 不適切な事後分布は逐次推論における事前分布として使用可能であり、その結果得られる最終的な事後分布は、元の事前分布と全データセットを組み合わせた場合と一致する。
• 理論は、非有界な分布（例：ℝ上の一様分布）を正当な統計的対象として支持し、有限区間上の条件付き確率の極限として解釈可能であることを示している。