[論文レビュー] Kullback Leibler Divergence for Bayesian Networks with Complex Mean Structure

Jessica Kasza, Patricia Solomon|arXiv (Cornell University)|Sep 8, 2010

Bayesian Modeling and Causal Inference参考文献 12被引用数 2

ひとこと要約

この論文は、外生変数とランダム効果を含むベイジアンネットワークの推定において、完全ベイジアン手法と残差手法を比較する。事後分布の差を測るためのカルバック・ライバラー情報量を用い、外生変数が主な関心の対象でない場合、残差手法はより単純で、最小限の情報損失を伴うことを示している。

ABSTRACT

In this paper, we compare the performance of two methods for estimating Bayesian networks from data containing exogenous variables and random effects. The first method is fully Bayesian in which a prior distribution is placed on the exogenous variables, whereas the second method, which we call the residual approach, accounts for the effects of exogenous variables by using the notion of restricted maximum likelihood. We review the two score-based metrics, then study their performance by measuring the Kullback Leibler divergence, or distance, between the two resulting posterior density functions. The Kullback Leibler divergence provides a natural framework for comparing distributions. The residual approach is considerably simpler to apply in practice and we demonstrate its utility both theoretically and via simulations. In particular, in applications where the exogenous variables are not of primary interest, we show that the potential loss of information about parameters and induced components of correlation, is generally small.

研究の動機と目的

• 外生変数とランダム効果を含むベイジアンネットワークの推定手法を評価・比較すること。
• 外生変数のパラメータを無視した場合、ネットワーク構造と相関構造に与える影響を評価すること。
• 制限付き最尤推定に基づく残差手法が、完全ベイジアン手法と同等の性能を示すかどうかを検証すること。
• 外生変数が主な関心の対象でない場合、実務において残差手法を用いる理論的・実証的根拠を提供すること。

提案手法

• 外生変数に事前分布を設定することで、完全ベイジアンフレームワークを適用し、ネットワークパラメータを推定する。
• 制限付き最尤推定を用いて外生変数の影響を補正するが、それらを確率的変数としてモデル化しない残差手法を採用する。
• スコアベースの指標を用いて、ネットワーク構造およびパラメータ推定の性能を評価する。
• 両手法の事後分布間のカルバック・ライバラー情報量を測定し、差を定量化する。
• 正規分布とランダム効果の仮定の下で、残差手法の理論的性質を導出する。
• さまざまなネットワーク構造とデータ設定において、2つの手法を比較するためのシミュレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 残差手法は、ベイジアンネットワーク構造の推定において、完全ベイジアン手法と比べてどのように性能を発揮するか？
• RQ2 制限付き最尤推定により外生変数を固定効果として扱うのと、それらに事前分布を割り当てるのとでは、どのような違いが生じるか？
• RQ3 完全ベイジアン手法と比較して、残差手法を用いることで、パラメータ推定および相関構造にどの程度の情報損失が生じるか？
• RQ4 どのような条件下で、残差手法は完全ベイジアン推定の有効で実用的な代替手段となるか？

主な発見

• カルバック・ライバラー情報量による測定では、残差手法の事後分布が完全ベイジアン手法のそれと非常に近いことが示された。
• 残差手法は完全ベイジアン手法よりも著しく実装が簡単で、計算的にも効率的である。
• 外生変数が主な関心の対象でない場合、パラメータ推定および相関構造の情報損失は一般的に小さい。
• 理論的分析により、正規分布の仮定とランダム効果構造の下で、残差手法の妥当性が裏付けられた。
• シミュレーション結果から、残差手法がネットワーク構造の回復およびパラメータの正確性の両面で良好な性能を示すことが確認された。
• カルバック・ライバラー情報量は、2つの事後分布を比較する信頼性の高い指標であり、手法間のトレードオフを評価するのにも適している。