[論文レビュー] Likelihoods and Parameter Priors for Bayesian Networks

David Heckerman, Dan Geiger|arXiv (Cornell University)|May 13, 2021

Bayesian Modeling and Causal Inference参考文献 17被引用数 10

ひとこと要約

この論文は、尤度同等性とパラメータの独立性を用いて、ベイジアンネットワークにおける尤度関数とパrameterの事前分布を体系的に構築する枠組みを提案する。これにより、データと専門家知識からの学習が効率的に行える。主な貢献は、これらの仮定の下でディリクレ分布とノーマル・ウィシャールト分布が一意に定まるという特徴付けであり、離散的およびガウス型ネットワークにおける多変量分布の統一的アプローチを提供する。

ABSTRACT

We develop simple methods for constructing likelihoods and parameter priors for learning about the parameters and structure of a Bayesian network. In particular, we introduce several assumptions that permit the construction of likelihoods and parameter priors for a large number of Bayesian-network structures from a small set of assessments. The most notable assumption is that of likelihood equivalence, which says that data can not help to discriminate network structures that encode the same assertions of conditional independence. We describe the constructions that follow from these assumptions, and also present a method for directly computing the marginal likelihood of a random sample with no missing observations. Also, we show how these assumptions lead to a general framework for characterizing parameter priors of multivariate distributions.

研究の動機と目的

• 多数のベイジアンネットワーク構造に対して尤度関数とパrameter事前分布を割り当てる実用的手法を開発すること。
• 構造的仮定を活用することで、事前分布の指定に必要な直接的評価の数を減らすこと。
• ベイジアンネットワークにおける多変量分布の事前分布を特徴付ける一般枠組みを提供すること。
• パrameter事前分布が構造的同等性と独立性仮定によって一意に決定される条件を形式化すること。

提案手法

• 同一の条件付き独立性を表現するネットワーク構造同士では、データがそれらを区別できないという尤度同等性を導入する。
• グローバルおよびローカルなパラメータの独立性を適用し、事前分布を記述する関数方程式を導出する。
• アーク反転におけるヤコビアン変換を用いて、同等構造間でのパラメータ分布を関連付ける。
• 欠損観測値のないデータセットの周辺尤度を、構築した事前分布から直接導出する。
• アーク反転とヤコビアン変換から導かれる関数方程式の解を、それぞれ離散的およびガウス線形モデルにおいてディリクレ分布とノーマル・ウィシャールト分布として特徴付ける。
• 尤度同等性とパラメータの独立性の下では、唯一特定の事前分布族（ディリクレ分布、ノーマル・ウィシャールト分布）が制約を満たすことが示される。

実験結果

リサーチクエスチョン

• RQ1 多数のベイジアンネットワーク構造にわたり、直接的評価を最小限に抑えて尤度関数とパrameter事前分布を一貫して割り当てる方法は何か？
• RQ2 多変量分布の事前分布が一意に特徴付けられるための仮定は何か？
• RQ3 尤度同等性は、離散的およびガウス型ネットワークにおけるパラメータ事前分布の形にどのように制約を加えるか？
• RQ4 尤度同等性とパラメータの独立性を組み合わせるとどのような関数方程式が生じ、その解は何か？
• RQ5 尤度同等性とパラメータの独立性の仮定を緩和しても、事前分布の特徴付けは成立するか？

主な発見

• 尤度同等性とパラメータの独立性は、離散的ベイジアンネットワークにおけるディリクレ分布を唯一の事前分布として特徴付ける。
• 線形ガウス型ネットワークでは、同じ仮定の下でノーマル・ウィシャールト分布が唯一の解であり、結合パラメータに対しては2変量のノーマル・ウィシャールト事前分布が適用される。
• アーク反転とヤコビアン変換から導かれる関数方程式の解は、特定の事前分布族にしか存在しないため、その一意性が裏付けられる。
• 欠損観測値のないデータセットの周辺尤度は、完全な統合を実行せずに、事前分布と尤度構造から直接計算可能である。
• 仮定により、離散的ケースではすべての変数に対して一意の有効サンプルサイズが導かれるが、ガウス型ケースでは2つとなる。これは、実世界の応用において現実性に制限を及える可能性がある。