[論文レビュー] On tensor rank of conditional probability tables in Bayesian networks

Jiří Vomlel, Petr Tichavský|arXiv (Cornell University)|Sep 22, 2014

Bayesian Modeling and Causal Inference参考文献 8被引用数 3

ひとこと要約

本稿では、実世界のベイジアンネットワークにおける多くの条件付き確率表（CPT）が、CPテンソル分解を用いて低ランクテンソルで良好に近似可能であることを示している。これにより、親ノード数に応じて指数関数的から線形にまでパラメータ要件が削減される。主な発見は、3つ以上の親を持つCPTの75%がランク6以下で正確に近似可能であり、これは効率的なモデリングと推論に利用可能な隠れた低次元構造を示している。

ABSTRACT

A difficult task in modeling with Bayesian networks is the elicitation of numerical parameters of Bayesian networks. A large number of parameters is needed to specify a conditional probability table (CPT) that has a larger parent set. In this paper we show that, most CPTs from real applications of Bayesian networks can actually be very well approximated by tables that require substantially less parameters. This observation has practical consequence not only for model elicitation but also for efficient probabilistic reasoning with these networks.

研究の動機と目的

• 実世界のベイジアンネットワークCPTが一般テーブルとして指定されていながらも、低ランク構造を示すかどうかを調査すること。
• 専門家やデータから高次元の条件付き確率を獲得するという実用的課題に対処すること。
• 低ランク近似が確率的推論におけるモデル構築の簡略化と計算効率の向上に寄与するかどうかを検討すること。
• 標準的なベイジアンネットワークリポジトリからのCPT近似において、CPテンソル分解の有効性を評価すること。

提案手法

• 各CPTを親の状態構成を表す多次元配列（テンソル）としてモデル化すること。
• 各CPTをランク1のテンソルの和に分解するCPテンソル分解を適用し、自由パラメータ数を削減すること。
• 分解の数値最適化に、ファスト・ダムプド・ガウス・ニュートン法（レーベンバーグ＝マーカート法）を用いること。
• すべての親状態構成において、元のCPTと近似されたCPTとの間の最大絶対誤差を用いて近似品質を評価すること。
• 同じ次元を持つランダムに生成されたテンソルの結果と比較し、ベースライン性能を確立すること。
• 15のベイジアンネットワークで実装およびテストするために、TENSORBOX MATLABパッケージを用いること。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンネットワークリポジトリからの実世界のCPTは、低ランクテンソルで良好に近似可能か？
• RQ2 実CPTにおけるCP分解のランクと近似誤差の関係は？
• RQ3 実CPTは、同じサイズのランダムテンソルと比較して顕著に低いランクを示すか？
• RQ4 低ランク近似は、CPTにおける必要なパラメータ数をどの程度削減できるか？
• RQ5 CPTにおける低ランク構造は、意図されたドメイン知識を反映しているか、モデルの獲得を改善できるか？

主な発見

• 3つ以上の親を持つCPTの約40%が、ランク2のテンソルを用いて良好に近似可能（誤差 < 0.001）。
• CPTの約75%が、ランク6の近似で同じ誤差閾値を達成している。
• CPTの15%しか、最大誤差が0.001未満になるようにするため、ランク10を超える必要がない。
• 同じ次元のランダムに生成されたCPTでは、同等の低ランク近似品質が達成されず、実CPTには本質的な構造が存在することが示唆される。
• これらの結果から、実応用からの多くのCPTは完全に一般的ではなく、低次元の潜在的構造を有していることが示唆される。