[論文レビュー] AND/OR Multi-Valued Decision Diagrams (AOMDDs) for Weighted Graphical Models

Robert Mateescu, Rina Dechter|arXiv (Cornell University)|Jun 20, 2012

Bayesian Modeling and Causal Inference参考文献 19被引用数 4

ひとこと要約

本稿では、重み付きグラフィカルモデル（特に確率的モデル）をコンpilationするための正規化データ構造として、AND/OR 多値意思決定図（AOMDD）を導入する。これは、AND/OR 探索空間と順序付き2値意思決定図（OBDD）を一般化することで得られる。複雑さの上限がパス幅ではなく木幅に基づくため、変数除去に基づくスケジュールと汎用APPLYアルゴリズムを用いて、効率的なコンパイルとモデルの組み合わせが可能となり、予備の実験ではスケーラブルな推論の強力な可能性が示された。

ABSTRACT

Compiling graphical models has recently been under intense investigation, especially for probabilistic modeling and processing. We present here a novel data structure for compiling weighted graphical models (in particular, probabilistic models), called AND/OR Multi-Valued Decision Diagram (AOMDD). This is a generalization of our previous work on constraint networks, to weighted models. The AOMDD is based on the frameworks of AND/OR search spaces for graphical models, and Ordered Binary Decision Diagrams (OBDD). The AOMDD is a canonical representation of a graphical model, and its size and compilation time are bounded exponentially by the treewidth of the graph, rather than pathwidth as is known for OBDDs. We discuss a Variable Elimination schedule for compilation, and present the general APPLY algorithm that combines two weighted AOMDDs, and also present a search based method for compilation method. The preliminary experimental evaluation is quite encouraging, showing the potential of the AOMDD data structure.

研究の動機と目的

• 重み付きグラフィカルモデル、特に確率的モデルを効率的な推論を支援するためのスケーラブルで正規化されたデータ構造としてコンパイルする。
• AND/OR 探索空間とOBDDを、重み付きモデルに適した多値意思決定図フレームワークに一般化する。
• 従来のOBDDがパス幅に基づく複雑さの上限を持つのに対し、木幅に基づく複雑さの上限に低減することで、スケーラビリティを向上させる。
• 重み付きAOMDDの組み合わせを可能にする変数除去に基づくコンパイルスケジュールと汎用APPLYアルゴリズムを設計する。
• モデルのコンパイルと推論に関する予備の実験結果を通じて、AOMDDの実証的潜在能力を評価する。

提案手法

• AOMDDは、内部ノードが変数を表し、エッジが値を表すAND/OR 探索空間表現を用いて構築される。端末ノードは重みを符号化する。
• データ構造は、サイズを最小限に抑えつつ正規性を維持するように、特定の順序で変数を処理する変数除去に基づくコンパイルスケジュールを用いて構築される。
• 2つの重み付きAOMDDを組み合わせるための汎用APPLYアルゴリズムが定義され、再帰的走査と共有部分グラフ再利用を通じて、合計、積、周辺化などの操作が可能となる。
• AOMDDは正規化されているため、等価なモデルは同一の図を生成し、効率的な同値性チェックと最適化が可能となる。
• グラフィカルモデルの道徳化および誘導された結合木の構造を活用して、コンパイルをガイドし、結果の図のサイズを最小限に抑える。
• コンパイルは、ANDノードおよびORノードを再帰的に展開し、変数除去ルールを適用し、同型の部分木を統合することで、冗長性を低減する。

実験結果

リサーチクエスチョン

• RQ1 重み付きグラフィカルモデル、特に確率的モデルを扱うために、多値意思決定図表現を効果的に拡張できるか？
• RQ2 AOMDDにおけるAND/OR 探索空間の使用により、従来のOBDDと比較してコンパイルの複雑さが顕著に低減するか？
• RQ3 APPLY操作を一般化することで、推論タスクのための重み付きAOMDDの効率的組み合わせと操作が可能になるか？
• RQ4 AOMDDのサイズとコンパイル時間は、理論的分析が示すように、パス幅ではなく木幅に依存して上限が定まるか？
• RQ5 実世界または合成的なグラフィカルモデルにおいて、AOMDDのスケーラビリティと推論効率の実証的性能はいかがなものか？

主な発見

• AOMDD表現は正規化されており、等価なモデルが同一の図を生成することを保証する。これにより、効率的な同値性チェックと最適化が可能となる。
• コンパイルの複雑さは、モデルの道徳化グラフの木幅に依存しており、OBDDがパス幅に依存するのと比較して顕著な改善が得られる。
• APPLYアルゴリズムにより、再帰的走査と共有部分グラフ再利用を通じて、2つの重み付きAOMDDの効率的組み合わせが可能となり、周辺化や条件付き確率の計算などの推論操作が支援される。
• 変数除去に基づくコンパイルスケジュールは、中間的な複雑さを最小限に抑える順序で変数を処理することで、図のサイズを効果的に縮小し、効率を向上させる。
• 予備の実験的評価により、AOMDDは中程度の木幅を持つモデルを効率的に処理でき、重み付きグラフィカルモデルにおけるスケーラブルな推論の可能性を示している。
• 結果から、低～中程度の木幅を持つモデルにおいて、従来のOBDDベースのアプローチに比べ、AOMDDはメモリと実行時間の両面で効率性に優れていることが示唆される。