[論文レビュー] Mixture Approximations to Bayesian Networks

Volker Tresp, Michael Haft+1 more|arXiv (Cornell University)|Jan 23, 2013

Bayesian Modeling and Causal Inference参考文献 8被引用数 5

ひとこと要約

この論文は、ベイジアンネットワークの混合近似法を提案し、結合確率分布を、ドメイン内の典型的なシナリオを捉える各成分密度の組み合わせとして表現する。平均二乗誤差（MSE）コスト関数を用いることで、junction treeアルゴリズムを介した効率的な推論が可能となり、複雑な依存関係について直感的な洞察を提供しながら、推論が tractable なネットワークにおいて計算の実行可能性を維持する。

ABSTRACT

Structure and parameters in a Bayesian network uniquely specify the probability distribution of the modeled domain. The locality of both structure and probabilistic information are the great benefits of Bayesian networks and require the modeler to only specify local information. On the other hand this locality of information might prevent the modeler - and even more any other person - from obtaining a general overview of the important relationships within the domain. The goal of the work presented in this paper is to provide an "alternative" view on the knowledge encoded in a Bayesian network which might sometimes be very helpful for providing insights into the underlying domain. The basic idea is to calculate a mixture approximation to the probability distribution represented by the Bayesian network. The mixture component densities can be thought of as representing typical scenarios implied by the Bayesian model, providing intuition about the basic relationships. As an additional benefit, performing inference in the approximate model is very simple and intuitive and can provide additional insights. The computational complexity for the calculation of the mixture approximations criticaly depends on the measure which defines the distance between the probability distribution represented by the Bayesian network and the approximate distribution. Both the KL-divergence and the backward KL-divergence lead to inefficient algorithms. Incidentally, the latter is used in recent work on mixtures of mean field solutions to which the work presented here is closely related. We show, however, that using a mean squared error cost function leads to update equations which can be solved using the junction tree algorithm. We conclude that the mean squared error cost function can be used for Bayesian networks in which inference based on the junction tree is tractable. For large networks, however, one may have to rely on mean field approximations.

研究の動機と目的

• ベイジアンネットワークにエンコードされた知識の代替的で解釈可能な視点を提供すること。
• ベイジアンネットワークの構造とパラメータに暗黙的にエンコードされた、典型的なシナリオやパターンを同定すること。
• 推論とモデルの解釈を支援する、計算的に効率的な混合近似法を開発すること。
• 混合近似においてKLダイバージェンスと逆KLダイバージェンスの限界を克服し、より計算可能なコスト関数を提案すること。
• junction tree推論が可能であるようなベイジアンネットワークにおいて、混合近似の実用的応用を可能にすること。

提案手法

• この手法は、真の確率分布を混合成分密度の組み合わせで近似するために、平均二乗誤差（MSE）コスト関数を用いる。
• 混合成分は、真の分布と近似混合分布の間のMSEを最小化することで学習される。
• 最適化プロセスにより、junction treeアルゴリズムと互換性のある更新式が得られ、推論が tractable なネットワークにおける効率的計算が可能になる。
• アルゴリズムは繰り返し混合成分とその重みを改善し、局所的な条件付き独立構造を活用してMSEを最小化する。
• KLダイバージェンスに基づく手法とは対照的に、それらは計算的に非効率な更新ルールをもたらす。
• junction tree推論が非効率な大規模ネットワークでは、スケーラブルな代替手段として平均場近似に依存することを提案する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンネットワークの結合分布の混合近似は、背後にあるドメイン関係について直感的な洞察を提供できるか？
• RQ2 どのコスト関数が、ベイジアンネットワーク近似における混合成分の効率的計算と意味のある解釈可能性を両立できるか？
• RQ3 計算の実行可能性とモデルの正確さという観点から、平均二乗誤差コスト関数はKLダイバージェンスと比べてどのように異なるか？
• RQ4 どのようなクラスのベイジアンネットワークにおいて、提案された混合近似法が計算的に tractable か？
• RQ5 混合成分は、データ内の典型的なシナリオやパターンとして解釈可能であり、モデルの解釈性を向上させることができるか？

主な発見

• 平均二乗誤差コスト関数は、junction treeアルゴリズムと互換性のある更新式を導き、推論が tractable なベイジアンネットワークにおける効率的計算を可能にする。
• KLダイバージェンスや逆KLダイバージェンスとは異なり、それらは非効率なアルゴリズムをもたらすが、MSEに基づくアプローチは実用的な実装を可能にする。
• 混合成分は、ベイジアンネットワークが示唆する典型的なシナリオとして解釈可能であり、ドメイン関係の直感的理解を提供する。
• 近似混合モデルにおける推論は単純で直感的であり、元のネットワークをはるかに超える追加の洞察を提供する。
• junction tree推論が非効率な大規模ネットワークでは、スケーラブルな代替手段として平均場近似を用いることが提案される。
• このアプローチは、推論が tractable な場合に計算効率を損なわず、解釈性を高める代替的ビューを提供する。