[論文レビュー] On the Relationship between Sum-Product Networks and Bayesian Networks

Han Zhao, Mazen Melibari+1 more|arXiv (Cornell University)|Jan 6, 2015

Bayesian Modeling and Causal Inference参考文献 22被引用数 47

ひとこと要約

この論文は、条件付き確率分布（CPD）を代数的意思決定図（ADD）で表現することにより、和積ネットワーク（SPNs）とベイジアンネットワーク（BNs）の間で、線形時間の厳密な同値性を確立する。すべてのSPNがサイズの爆発なしにBNに変換可能であり、BN上で変数消去（VE）を実行すると元のSPNが回復されることを示し、SPNをキャッシュされた推論履歴と解釈する。

ABSTRACT

In this paper, we establish some theoretical connections between Sum-Product Networks (SPNs) and Bayesian Networks (BNs). We prove that every SPN can be converted into a BN in linear time and space in terms of the network size. The key insight is to use Algebraic Decision Diagrams (ADDs) to compactly represent the local conditional probability distributions at each node in the resulting BN by exploiting context-specific independence (CSI). The generated BN has a simple directed bipartite graphical structure. We show that by applying the Variable Elimination algorithm (VE) to the generated BN with ADD representations, we can recover the original SPN where the SPN can be viewed as a history record or caching of the VE inference process. To help state the proof clearly, we introduce the notion of {\em normal} SPN and present a theoretical analysis of the consistency and decomposability properties. We conclude the paper with some discussion of the implications of the proof and establish a connection between the depth of an SPN and a lower bound of the tree-width of its corresponding BN.

研究の動機と目的

• 和積ネットワーク（SPNs）とベイジアンネットワーク（BNs）の理論的関係、特に表現力と推論複雑度の観点から明確化すること。
• SPNからBNへの変換が、文脈固有のインスタンス（CSI）を活用する場合に指数的サイズの爆発を引き起こすかどうかという未解決の問いを解消すること。
• 代数的意思決定図（ADD）を用いて局所的CPDをコンパクトに表現することで、SPNからBNへの構成的かつ線形時間のアルゴリズムを提供すること。
• 得られたBNに対して変数消去（VE）を適用すると、元のSPNが正確に再構築されることを示し、SPNがVE計算の履歴またはキャッシュであることを確立すること。
• 理論的解析と変換プロセスを簡素化するための正規SPNの概念を導入すること。

提案手法

• 証明構造を簡素化するために、正規SPNの概念を導入し、変換中に一貫性と分解可能性を保証すること。
• 得られたBNにおける局所的条件付き確率分布（CPD）を代数的意思決定図（ADD）で表現することで、文脈固有のインスタンス（CSI）のコンパクトな符号化を可能にすること。
• 和ノードと積ノードを隠れ変数、端末ノードを観測変数とする、有向二部BNを構築すること。
• ADDで表現されたCPDを備えた構築されたBNに対して変数消去（VE）アルゴリズムを適用し、VEプロセスが元のSPN構造を正確に再構築することを示すこと。
• ADDを用いることで指数的爆発を回避できることを根拠に、SPNからBNへの変換がSPNサイズに対して線形時間・線形空間で行えることを証明すること。
• SPNの深さと得られるBNの木幅の構造的関係を分析し、高さKのSPNに対して木幅が⌊K/2⌋以上である下界を導出すること。

実験結果

リサーチクエスチョン

• RQ1 すべてのSPNは、サイズの指数的爆発なしにベイジアンネットワーク（BN）に変換可能か？
• RQ2 CPDの表現にADDを使用することで、SPNから得られるBNのサイズと構造にどのような影響を与えるか？
• RQ3 SPNにおける推論プロセスと、BNに適用される変数消去（VE）アルゴリズムの間に直接的な対応関係があるか？
• RQ4 SPNの深さとその対応するBNの木幅の関係は何か？
• RQ5 SPNは、BNにおけるVE推論プロセスのコンパクトで効率的なキャッシュ表現として見なせるか？

主な発見

• ADDを用いて局所的CPDを表現することで、すべてのSPNを線形時間・線形空間の複雑度でBNに変換可能である。
• 得られたBNは、SPNの深さや複雑さに関係なく、単純な有向二部構造を持つ。
• ADDで表現されたCPDを備えた構築されたBNに対して変数消去（VE）を適用すると、元のSPNが線形時間・線形空間で正確に再構築される。
• SPNの深さは、その対応するBNの木幅の下界を提供する：高さKのSPNは、木幅が少なくとも⌊K/2⌋のBNを生成する。
• SPNは、BNにおけるVE推論プロセスの履歴またはキャッシュメカニズムとして解釈可能であり、ADDにより効率的かつコンパクトなCPD表現が可能になる。
• CPDの表現にADDを用いることで、BNは文脈固有のインスタンス（CSI）を活用でき、指数的爆発を防ぎ、高木幅分布に対しても扱いやすい推論を可能にする。