[論文レビュー] Graphical Models and Exponential Families

Dan Geiger, Christopher Meek|arXiv (Cornell University)|Jan 30, 2013

Bayesian Modeling and Causal Inference参考文献 25被引用数 40

ひとこと要約

この論文は、指数型分布族の枠組み内でグラフィカルモデルを分類する：無向モデルは線形指数型分布族（LEFs）、有向モデルおよびチェーングラフは曲がり指数型分布族（CEFs）、隠れ変数を含むモデルは階層的指数型分布族（SEFs）—隠れ変数のフロンティア条件を満たすCEFsの有限和—である。さらに、隠れ変数を含むベイジアンネットワークから、条件付き独立性および依存性制約を自動的に導出するアルゴリズム的手法を提供し、モデル選択の改善を可能にする。

ABSTRACT

We provide a classification of graphical models according to their representation as subfamilies of exponential families. Undirected graphical models with no hidden variables are linear exponential families (LEFs), directed acyclic graphical models and chain graphs with no hidden variables, including Bayesian networks with several families of local distributions, are curved exponential families (CEFs) and graphical models with hidden variables are stratified exponential families (SEFs). An SEF is a finite union of CEFs satisfying a frontier condition. In addition, we illustrate how one can automatically generate independence and non-independence constraints on the distributions over the observable variables implied by a Bayesian network with hidden variables. The relevance of these results for model selection is examined.

研究の動機と目的

• 指数型分布族における表現に基づいて、グラフィカルモデルを体系的に分類すること。
• 隠れ変数を含むグラフィカルモデルの数学的構造を、階層的指数型分布族（SEFs）として形式化すること。
• 観測不能な変数を含むベイジアンネットワークから、条件付き独立性および依存性制約を自動的に導出する手法を開発すること。
• 指数型分布族の代数的構造を活用して、グラフィカルモデルのモデル選択をより効果的にすること。
• グラフィカルモデルの構造とその下位分布の統計的性質との関係を明確にすること。

提案手法

• 自然パrameter化に基づき、隠れ変数を含まない無向グラフィカルモデルを線形指数型分布族（LEFs）として分類する。
• 自然パrameterに非線形制約が生じるため、有向非巡回グラフィカルモデルおよびチェーングラフ（隠れ変数なし）を曲がり指数型分布族（CEFs）として表現する。
• 隠れ変数を含むグラフィカルモデルを、フロンティア条件を満たすCEFsの有限和として定義される階層的指数型分布族（SEFs）としてモデル化する。
• 隠れ変数を含むベイジアンネットワークが、観測変数に及ぼすすべての条件付き独立性および非独立性制約を計算するアルゴリズムを開発する。
• 指数型分布族の代数的構造を活用して、パラメータの完全推定を必要とせずに制約を導出する。
• フロンティア条件を活用して、SEFにおけるCEFsの和が適切に定義され、識別可能であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 無向グラフィカルモデルは、指数型分布族の枠組み内でどのように正式に分類できるか？
• RQ2 隠れ変数を含まない有向およびチェーングラフモデルの指数型分布族構造は何か？
• RQ3 ベイジアンネットワークにおける隠れ変数の存在は、指数型分布族内でどのように代数的に表現できるか？
• RQ4 潜在変数を含むベイジアンネットワークが、観測変数に及ぼす条件付き独立性および依存性制約は何か？
• RQ5 これらの構造的制約は、グラフィカルモデルのモデル選択をどのように改善できるか？

主な発見

• 隠れ変数を含まない無向グラフィカルモデルは、自然パrameterに線形制約が生じるため、線形指数型分布族（LEFs）である。
• 有向非巡回グラフィカルモデルおよび隠れ変数を含まないチェーングラフは、パrameter空間における非線形制約のため、曲がり指数型分布族（CEFs）である。
• 隠れ変数を含むグラフィカルモデルは、フロンティア条件を満たすCEFsの有限和として定義される階層的指数型分布族（SEFs）である。
• 隠れ変数を含むベイジアンネットワークが、観測変数に誘導するすべての条件付き独立性および依存性制約を自動的に生成するアルゴリズム的手順が開発された。
• 導出された制約は、特に潜在変数が存在する場合に、異なるグラフィカルモデルを区別する上で不可欠である。
• 分類により、さまざまなグラフィカルモデルの統計的および幾何的構造を統一した代数的枠組みで理解できるようになった。