[論文レビュー] Rigorizing and Extending the Cox-Jaynes Derivation of Probability: Implications for Statistical Practice

Alexander Terenin, David Draper|arXiv (Cornell University)|Jul 23, 2015

Statistical Mechanics and Entropy参考文献 37被引用数 9

ひとこと要約

本稿は、カウント可能な加法性と一貫性のある非可算確率的主張を確立することで、コックス＝ジェインズの確率論の導出をきめ細かく拡張し、コルモゴロフの確率論がコックス＝ジェインズ枠組みの特別な場合であることを証明する。これはベイズ非パラメトリック推論の基礎的支援を提供し、連続的不確実性のベイズ的公理化における長年のギャップを解消する。

ABSTRACT

There have been three attempts to date to establish foundations for the discipline of probability, namely the efforts of Kolmogorov (frequentist), de Finetti (Bayesian: belief and betting odds) and RT Cox (Bayesian: reasonable expectation)/ET Jaynes (Bayesian: optimal information processing). The original proof of the validity of the Cox-Jaynes approach has been shown to be incomplete, and attempts to date to remedy this situation are themselves not entirely satisfactory. Here we offer a new axiomatization that both rigorizes the Cox-Jaynes derivation of probability and extends it - from apparent dependence on finite additivity to (1) countable additivity and (2) the ability to simultaneously make uncountably many probability assertions in a logically-internally-consistent manner - and we discuss the implications of this work for statistical methodology and applications. This topic is sharply relevant for statistical practice, because continuous expression of uncertainty - for example, taking the set $\Theta$ of possible values of an unknown $ heta$ to be $(0,1)$, or $\mathbb{R}$, or the space of all cumulative distribution functions on $\mathbb{R}$ - is ubiquitous, but has not previously been rigorously supported under at least one popular Bayesian axiomatization of probability. The most important area of statistical methodology that our work has now justified from a Cox-Jaynes perspective is Bayesian non-parametric inference, a topic of fundamental importance in applied statistics. We present two interesting foundational findings, one of which is that Kolmogorov's probability function $\mathbb{P}_K (A)$ of the single argument A is isomorphic to a version of the Cox-Jaynes two-argument probability map $\mathbb{P}_{CJ} (A \mid B)$ in which Kolmogorov's B has been hard-wired at the factory to coincide with his sample space $\Omega$, thus Kolmogorov is a special case of Cox-Jaynes.

研究の動機と目的

• 元のコックス＝ジェインズの確率論の導出における長年の不完全性、特に有限加法性と非可算設定における論理的一致性に関する問題を解決すること。
• コックス＝ジェインズ枠組みを有限からカウント可能な加法性へ拡張し、統計的推論における連続的パrameter空間の厳密な取り扱いを可能にすること。
• コックス＝ジェインズの二変数確率写像が、非可算個の確率的主張を一貫して表現できることを示し、ベイズ的推論における基礎的ギャップを解消すること。
• 第二引数を標本空間に固定した場合に、コルモゴロフの単一変数確率とコックス＝ジェインズの二変数写像の間の形式的同型を確立すること。
• ベイズ非パラメトリック推論の論理的・厳密な基礎を構築すること。これは現代統計学における中心的メソドロジーであり、かつてコックス＝ジェインズの公理系下では完全に正当化されていなかった。

提案手法

• カウント可能な加法性を保証するように、コックス＝ジェインズの関数方程式枠組みを強化する新しい公理的体系を導入すること。
• 連続的領域における非可算個の確率割り当ての一貫性を、一般化された一貫性条件を用いて形式化すること。
• 論理的一致性と連続性の制約を満たす二変数関数として確率写像 $\mathbb{P}_{CJ}(A \mid B)$ を定義すること。
• $B = \Omega$（標本空間）のとき、$\mathbb{P}_{CJ}(A \mid \Omega)$ がコルモゴロフの $\mathbb{P}_K(A)$ に簡約されることを証明し、同型性を確立すること。
• 順序連続性とラティス理論的性質を用いて、有限確率主張の極限が連続的設定で有効な確率値に収束することを保証すること。
• 連続的パrameter空間、たとえば $\Theta = (0,1)$、$\mathbb{R}$、または $\mathbb{R}$ 上のすべての累積分布関数の空間に対して、この枠組みを適用すること。

実験結果

リサーチクエスチョン

• RQ1 コックス＝ジェインズの確率論の導出は、カウント可能な加法性と非可算の一貫性を厳密に拡張できるか？
• RQ2 コックス＝ジェインズ枠組みは、統計的モデリングで一般的に用いられる連続的パrameter空間を扱えるようにどのように拡張できるか？
• RQ3 コルモゴロフの確率測度は、コックス＝ジェインズの二変数確率写像の特別な場合であるか？ もしそうなら、どのような条件下か？
• RQ4 この新しい枠組みは、ベイズ非パラメトリック推論にどのような基礎的支援を提供するか？
• RQ5 コックス＝ジェインズ枠組み内で、非可算個の確率的主張を同時に行う場合でも論理的一致性を維持できるか？

主な発見

• 本稿は、コックス＝ジェインズ枠組み内でのカウント可能な加法性の厳密な基礎を確立し、以前の導出における主要なギャップを解消した。
• コックス＝ジェインズ確率写像が非可算個の確率的主張を一貫して表現できることを示し、連続的不確実性の定量化を可能にした。
• コルモゴロフの $\mathbb{P}_K(A)$ とコックス＝ジェインズの $\mathbb{P}_{CJ}(A \mid \Omega)$ の間の同型性が形式的に証明され、コルモゴロフのアプローチが特別な場合であることが示された。
• この枠組みは、特にパrameter空間が非可算（たとえば $\mathbb{R}$ やすべてのCDFの空間）である場合に、ベイズ非パラメトリック推論の論理的一致した基礎を提供する。
• 極限の収束が連続的設定でも有効な確率値に保たれ、一貫性が維持されることを保証する。
• 本研究は、コックス＝ジェインズのアプローチが、連続的不確実性を含む現代の統計的実践を正当に裏付けることができることを確認した。これは、かつては完全な正当化が欠けていた。