[論文レビュー] Data analysis recipes: Probability calculus for inference

David W. Hogg|arXiv (Cornell University)|May 20, 2012

Gaussian Processes and Bayesian Inference参考文献 5被引用数 11

ひとこと要約

この論文は、推論のための確率計算に関する教育的ガイドを提供し、次元解析とデータ解析における確率密度関数（pdf）の正しい組み合わせを強調している。尤度、事後分布、周辺化分布、事後予測の構築に向けたルールを体系的に提示し、有効なのは特定で明確に定義された操作に限られ、誤った操作は次元的な不一致や論理的誤りを引き起こすことを示している。

ABSTRACT

In this pedagogical text aimed at those wanting to start thinking about or brush up on probabilistic inference, I review the rules by which probability distribution functions can (and cannot) be combined. I connect these rules to the operations performed in probabilistic data analysis. Dimensional analysis is emphasized as a valuable tool for helping to construct non-wrong probabilistic statements. The applications of probability calculus in constructing likelihoods, marginalized likelihoods, posterior probabilities, and posterior predictions are all discussed.

研究の動機と目的

• 物理学、生物学、化学、経済学の研究者で、確率的推論の正式な訓練を受けていない者たちに、確率計算について明確でアクセスしやすい導入を提供すること。
• 次元解析を、データ解析における誤った確率的記述を検出・防止するための重要なツールとして強調すること。
• 確率計算がpdfをどのように組み合わせられるかに課す制約を明確にすること、特に尤度、事後分布、周辺化分布の構築において。
• 過剰に条件づけたり、単位を誤って扱ったりするような確率的推論の一般的な誤りを、物理的整合性と数学的厳密性に基づいたルールによって防ぐこと。
• 確率計算を制約的ではあるが習得可能であるフレームワークとして扱う、実用的で物理学に裏付けられた推論のアプローチを提唱すること。

提案手法

• 尤度関数に物理的単位を割り当てるために次元解析を用い、p(a)が正規化条件 ∫p(a)da = 1 を満たすためにa⁻¹の次元を持つ必要があることを示す。
• 因数分解則 p(a,b) = p(a)p(b|a) を適用して条件付き確率とベイズの定理を導出し、条件づけの整合性と単位のキャンセルを強調する。
• 正規化されたベイズの定理の形、p(a|b,c) = [p(b|a,c)p(a|c)] / Z（Z = ∫p(b|a,c)p(a|c)da）を導入し、適切な正規化と単位の誤りを回避する。
• ∫p(a|b)db（単位がa⁻¹bで、次元的に無意味）のような有効でない操作と有効な操作を区別することで、概念的および計算上の誤りを防ぐ。
• 事前分布pdfが周辺化に果たす役割を図示し、適切な事前分布がないままの擬似周辺化は無効であるが、平坦な事前分布の下では近似的に正しい場合があることを示す。
• 連続変数を主な焦点とし、暗黙の積分範囲と多次元パrameter空間への重点を置くことで、科学および工学分野の現実の推論問題を反映する。

実験結果

リサーチクエスチョン

• RQ1 次元解析は、データ解析における誤った確率的記述を検出・防止するためにどのように利用できるか？
• RQ2 確率密度関数を組み合わせて新たなpdf、期待値、予測を形成するには、どのような方法が唯一有効か？
• RQ3 なぜ条件付きpdf p(a|b) を条件づけ変数bについて積分することは無効であり、次元的に意味がないのか？
• RQ4 事前分布pdfの選択が周辺化と事後推論に与える影響は何か？なぜこれがしばしば暗黙のうちに仮定されるのか？
• RQ5 尤度関数のみを用いる原理的で頻度主義的アプローチと、事前分布を用いるベイズ的アプローチの違いは何か？なぜ後者はより多くの仮定を含むのか？

主な発見

• 確率密度関数は、パラメータ空間体積の逆数（例：単一の連続的パラメータではa⁻¹）の次元を持つ必要があり、有効な推論のためには次元的一致性が不可欠である。
• 同時pdfの唯一有効な因数分解は p(a,b) = p(a)p(b|a) または p(a,b) = p(b)p(a|b) であり、これ以外の形式は論理的または次元的な不一致を引き起こす。
• p(a|b) をbについて積分することは無効であり、次元的に無意味である。その結果得られる単位a⁻¹bは確率として解釈できない。
• ベイズの定理は、正規化された形、p(a|b,c) = [p(b|a,c)p(a|c)] / Z（Zは周辺尤度）で書かれるべきであり、これにより正しい単位と正規化が保証される。
• 事前分布が適切でないままパrameterを積分する「擬似周辺化」は無効であるが、平坦な事前分布の下では近似的に正しい場合がある。これは周辺化における事前分布の暗黙の役割を強調する。
• 最大事後確信度（MAP）推定値は確率的出力ではなく、事前分布の仮定を組み込んでいるため、尤度関数にのみ依存する最尤推定よりも客観的ではない。