[論文レビュー] An asymptotic approximation of the marginal likelihood for general Markov models

Piotr Zwiernik|arXiv (Cornell University)|Dec 3, 2010

Bayesian Modeling and Causal Inference参考文献 24被引用数 3

ひとこと要約

本稿は、隠れ変数を伴う根付き二分木上の一般マーカフ過程に対して、実対数特異指数（real log-canonical thresholds）を用いて、正則モデルを超えるように一般化されたBICスコアへと一般化するための漸近的近似を導出する。主な結果は、BIC近似におけるlog-Nペナルティ項が、木構造におけるリーフの数、2次内点、3次内点の数によって決定され、根が非退化内点である場合には補正項が加わることを示している。

ABSTRACT

The standard Bayesian Information Criterion (BIC) is derived under regularity conditions which are not always satisfied by the graphical models with hidden variables. In this paper we derive the BIC score for Bayesian networks in the case of binary data and when the underlying graph is a rooted tree and all the inner nodes represent hidden variables. This provides a direct generalization of a similar formula given by Rusakov and Geiger for naive Bayes models. The main tool used in this paper is a connection between asymptotic approximation of Laplace integrals and the real log-canonical threshold.

研究の動機と目的

• 隠れ変数を伴う一般マーカフモデル、特に木構造のベイジアンネットワークに対して、ベイジアン情報量基準（BIC）を特異モデルへと拡張すること。
• 尤度最大化点が正則点でないモデル（例：隠れノードを含む木構造のベイジアンネットワーク）において、標準的なBICが失敗することを解消すること。
• 尤度最大化点が特異である場合の周辺尤度の正確な漸近的近似を、実対数特異指数とラプラス積分の漸近論を用いて確立すること。
• 木構造の特性、特にリーフの数、2次内点、3次内点の数が周辺尤度のペナルティ項にどのように影響するかを特定すること。
• 多様体の多重度が1を超える場合に、漸近展開に追加のlog log N項が現れる条件を導出すること。

提案手法

• 特異統計モデルにおける周辺尤度を分析するため、漸近的ラプラス積分近似を用いる。
• 尤度最大化点が特異である場合の周辺尤度の漸近的挙動を特徴付けるために、実対数特異指数（RLCT）の理論を適用する。
• すべての内部ノードが観測不能な根付き二分木上での一般マーカフ過程をモデル化し、観測リーフ変数の分布に注目する。
• あるノードによって分離されるリーフ間のすべての対の共分散が消えるノードを退化内点と定義し、これを用いて木構造を分類する。
• 部分木への分解を用いてモデルイデアルのRLCTを導出し、代数幾何学および特異点論の結果を応用する。
• 式 $ Z(N) = \tilde{\theta}_N - \frac{1}{4}(3n + l_2 + 5l_3)\text{log}N + O(1) $ を用い、根が非退化である場合には補正を加え、多重度が1より大きい場合には $ (m-1)\text{log log}N $ 項を含む。

実験結果

リサーチクエスチョン

• RQ1 根付き木上の一般マーカフモデルで隠れ変数を伴う場合、周辺尤度はどのように漸近的に振る舞うか？
• RQ2 尤度最大化点が特異である場合（例：隠れノードを含む木モデル）、正しいBIC近似の形は何か？
• RQ3 木構造における内点の数と種別（2次、3次）が、周辺尤度近似におけるlog-Nペナルティにどのように影響するか？
• RQ4 周辺尤度の漸近展開に追加の $ \text{log log}N $ 項が現れる条件は何か？
• RQ5 観測された標本共分散行列の構造（特にゼロ要素）が、このようなモデルにおける周辺尤度の漸近的挙動を完全に決定できるか？

主な発見

• 漸近的周辺尤度は $ Z(N) = \tilde{\theta}_N - \frac{1}{4}(3n + l_2 + 5l_3)\text{log}N + O(1) $ で与えられ、ここで $ n $ はリーフの数、$ l_2 $ は2次内点の数、$ l_3 $ は3次内点の数である。
• 根ノードが非退化内点である場合、ペナルティ項は $ \frac{1}{4}(3n + l_2 + 5l_3 - 1)\text{log}N $ に修正され、構造的補正を反映する。
• 根が退化しており、そのすべての隣接ノードも退化している場合、特異点の多重度は1であり、追加の $ \text{log log}N $ 項は現れない。
• 特異点の多重度が1より大きい場合、漸近展開には追加の $ (m-1)\text{log log}N $ 項が現れ、$ m \neq 1 $ のとき、モデル選択に影響を与える。
• 標本共分散行列のゼロ要素は、特に退化ノードの同定を通じて、周辺尤度の漸近的構造を完全に決定する。
• モデルの実対数特異指数（RLCT）は $ \frac{1}{4}(3n + l_2 + 5l_3) $ であり、根とその隣接ノードがすべて退化している場合を除き、多重度は1である。