[論文レビュー] Iterative conditional fitting for Gaussian ancestral graph models

Mathias Drton, Thomas S. Richardson|arXiv (Cornell University)|Jul 7, 2004

Bayesian Modeling and Causal Inference参考文献 14被引用数 28

ひとこと要約

この論文は、観察されない変数を扱えるように一般化されたガウス型祖先グラフモデルにおける最尤推定のための反復的条件付き適合（ICF）アルゴリズムを導入する。この手法は、制約のもとで条件付き分布を反復的に推定しながら周辺分布を固定することで、反復的プロポーション適合アルゴリズムの双対を提供し、潜在変数構造下でも頑健なモデル選択を可能にする。

ABSTRACT

Ancestral graph models, introduced by Richardson and Spirtes (2002), generalize both Markov random fields and Bayesian networks to a class of graphs with a global Markov property that is closed under conditioning and marginalization. By design, ancestral graphs encode precisely the conditional independence structures that can arise from Bayesian networks with selection and unobserved (hidden/latent) variables. Thus, ancestral graph models provide a potentially very useful framework for exploratory model selection when unobserved variables might be involved in the data-generating process but no particular hidden structure can be specified. In this paper, we present the Iterative Conditional Fitting (ICF) algorithm for maximum likelihood estimation in Gaussian ancestral graph models. The name reflects that in each step of the procedure a conditional distribution is estimated, subject to constraints, while a marginal distribution is held fixed. This approach is in duality to the well-known Iterative Proportional Fitting algorithm, in which marginal distributions are fitted while conditional distributions are held fixed.

研究の動機と目的

• データ生成過程に観察されない変数が存在する場合のガウス型祖先グラフモデルにおける最尤推定法の開発を目的とする。
• 特定の構造を仮定せずに、潜在的または隠れた変数が存在する状況におけるモデル選択の課題に取り組むことを目的とする。
• 従来の方法に対する計算的に実行可能で統計的に妥当な代替手法を提供することを目的とする。
• 反復的プロポーション適合とは類似したが、焦点を逆転させた、条件付きおよび周辺適合手順の双対性を確立することを目的とする。

提案手法

• ICFアルゴリズムは、周辺分布を固定したまま、反復的に条件付き分布を推定することで、祖先グラフのグローバルマークフ・プロパティと整合性を保つ。
• 各反復で、祖先グラフ構造に埋め込まれた条件付き独立制約に従って、条件付き分布を適合させる。
• 祖先グラフが条件付きおよび周辺化に関して閉じているという事実を活用し、適合プロセス全体を通してグローバルマークフ・プロパティを維持する。
• 条件付き分布の更新と周辺分布の固定を交互に繰り返し、最尤推定量へ収束させる。
• このアプローチは、条件付き分布を固定して周辺分布を適合させる反復的プロポーション適合アルゴリズムとは正式に双対的である。
• ガウス分布の指数型分布族構造に基づき、条件付きモーメントおよび共分散制約の効率的計算が可能になる。

実験結果

リサーチクエスチョン

• RQ1 観察されない変数を含むガウス型祖先グラフモデルにおける最尤推定をどのように効率的に行うことができるか？
• RQ2 構造的制約のもとで条件付き独立制約を同時に尊重し、祖先グラフマークフ・プロパティ下で最尤推定量へ収束する反復的アルゴリズムは何か？
• RQ3 反復的プロポーション適合と類似した双対性を、祖先グラフモデルにおいて条件付きおよび周辺適合の間で確立できるか？
• RQ4 ICFアルゴリズムは、潜在変数を伴うグラフィカル・モデルの既存の推定手法と比較して、性能および収束性においてどのように異なるか？

主な発見

• ICFアルゴリズムは、観察されない変数を含むガウス型祖先グラフモデルにおける最尤推定に対して、一貫性があり効率的な手法を提供する。
• アルゴリズムは、構造的制約のもとで条件付き分布を反復的に精緻化することで、最尤推定量へ収束する。
• 反復的プロポーション適合との双対性は正式に確立されており、潜在構造を伴うグラフィカル・モデルにおける推定の新たな視点を提供する。
• この手法は、条件付きおよび周辺化の両方においてグローバルマークフ・プロパティを保持し、妥当な統計的推論を保証する。