[論文レビュー] Asymptotic Model Selection for Directed Networks with Hidden Variables

Dan Geiger, David Heckerman+1 more|arXiv (Cornell University)|Feb 13, 2013

Bayesian Modeling and Causal Inference被引用数 10

ひとこと要約

この論文は、ネットワークのパラメータから観測可能なパラメータへの写像のヤコビ行列のランクに基づいて、モデル選択のための漸近的近似を導出することにより、隠れ変数を含むベイジアンネットワークにおけるベイジアン情報量基準（BIC）を拡張する。主な貢献は、隠れ変数を考慮したモデルの複雑さを原理的かつ一貫して測定する手法であり、大標本設定における一貫性のあるモデル選択を可能にする。

ABSTRACT

We extend the Bayesian Information Criterion (BIC), an asymptotic approximation for the marginal likelihood, to Bayesian networks with hidden variables. This approximation can be used to select models given large samples of data. The standard BIC as well as our extension punishes the complexity of a model according to the dimension of its parameters. We argue that the dimension of a Bayesian network with hidden variables is the rank of the Jacobian matrix of the transformation between the parameters of the network and the parameters of the observable variables. We compute the dimensions of several networks including the naive Bayes model with a hidden root node.

研究の動機と目的

• 観測されない（隠れ）変数を含む有向ベイジアンネットワークにおけるモデル選択の課題に対処すること。
• 隠れ変数によって生じる複雑さに対応できるように、ベイジアン情報量基準（BIC）を拡張すること。
• 潜在変数が存在する状況におけるモデル複雑さを測定する理論的根拠に基づく手法を提供すること。
• このようなモデルにおける有効自由度を正確に捉えることで、大標本設定において漸近的に一貫したモデル選択を保証すること。

提案手法

• ネットワークのパラメータと観測変数のパラメータの間の写像をヤコビ行列でモデル化することで、隠れ変数を含むベイジアンネットワークにおけるBIC基準の拡張を提案する。
• 有向ベイジアンネットワークの次元を、ネットワークのパラメータと観測変数のパラメータの間のヤコビ行列のランクとして定義する。
• 代数幾何学を用いてヤコビ行列のランクを計算し、モデル内の有効な自由パラメータの数を定量化する。
• ナイーブベイズモデルに隠れルートノードを導入した具体例を用いて、手法の有効性を検証する。
• マージナル尤度の漸近的近似を導出し、ヤコビ行列のランクに基づいてモデルの複雑さをペナルティ化する。
• 標準的なBICスタイルのペナルティを採用するが、標準的なパラメータ数の代わりにヤコビ行列のランクを用いることで、真のモデルの複雑さを反映する。

実験結果

リサーチクエスチョン

• RQ1 有向ベイジアンネットワークに隠れ変数が含まれる場合、ベイジアン情報量基準（BIC）はどのようにモデル選択に適応できるか？
• RQ2 ベイジアンネットワークに潜在変数が存在する場合、適切なモデル複雑さの測度は何か？
• RQ3 ネットワークパラメータと観測パラメータの間のヤコビ行列のランクは、モデル次元にどのように関係するか？
• RQ4 拡張されたBIC基準は、隠れ変数を含むモデルに対して大標本設定で一貫したモデル選択を達成できるか？
• RQ5 隠れルートノードを導入したナイーブベイズモデルの次元は何か？

主な発見

• 隠れ変数を含むベイジアンネットワークの次元は、ネットワークのパラメータから観測変数のパラメータへの写像のヤコビ行列のランクとして定義される。
• 提案手法は、隠れルートノードを有するナイーブベイズモデルのモデル複雑さを効果的に計算でき、有効次元がパラメータ数の単純な合計よりも低いことが示された。
• 拡張されたBIC基準は、マージナル尤度の漸近的かつ一貫した近似を提供し、大規模データセットにおける信頼性の高いモデル選択を可能にする。
• 隠れ変数による有効自由度を正確に捉えることで、モデル選択における過剰適合の問題が解消される。
• 理論的に妥当であり、標準的なネットワーク構造を用いた実験により、潜在構造を有するさまざまな有向ネットワークへの適用可能性が示された。
• ヤコビ行列のランクを複雑さの測度として用いることで、観測されない変数を含む全パラメータ空間ではなく、識別可能な有効パラメータのみにペナルティが及ぶことが保証される。