[論文レビュー] Lifted Inference for Relational Continuous Models

Jaesik Choi, Eyal Amir+1 more|arXiv (Cornell University)|Mar 15, 2012

Bayesian Modeling and Causal Inference参考文献 24被引用数 23

ひとこと要約

本論文は、連続変数を伴う関係的連続モデル（RCMs）に対する最初の正確なリフトド推論アルゴリズムを導入し、連続変数を伴う大規模な関係的データに対して効率的な確率的推論を可能にした。ガウス型ポテンシャルを伴う関係的ペアワイズモデルにおける対称性を活用することで、従来の立方時間的手法と比べて著しく高速化された線形時間計算量を達成した。実験では、グランド化手法および先行のリフトド手法を上回る性能を示した。

ABSTRACT

Relational Continuous Models (RCMs) represent joint probability densities over attributes of objects, when the attributes have continuous domains. With relational representations, they can model joint probability distributions over large numbers of variables compactly in a natural way. This paper presents a new exact lifted inference algorithm for RCMs, thus it scales up to large models of real world applications. The algorithm applies to Relational Pairwise Models which are (relational) products of potentials of arity 2. Our algorithm is unique in two ways. First, it substantially improves the efficiency of lifted inference with variables of continuous domains. When a relational model has Gaussian potentials, it takes only linear-time compared to cubic time of previous methods. Second, it is the first exact inference algorithm which handles RCMs in a lifted way. The algorithm is illustrated over an example from econometrics. Experimental results show that our algorithm outperforms both a groundlevel inference algorithm and an algorithm built with previously-known lifted methods.

研究の動機と目的

• 連続確率変数を伴う大規模な関係的モデルにおける効率的かつ正確な推論を可能にすること。
• 連続ドメインを伴うモデルにおける正確なリフトド推論手法の欠如に取り組むこと。
• 関係的ペアワイズモデルにおいて、立方時間手法を上回る計算効率を向上させること。
• 連続属性を含む関係的構造を有する実世界の応用にスケーラブルなソリューションを提供すること。
• 実験的評価を通じて、連続的関係的モデルにおけるリフトド推論の実現可能性と優位性を示すこと。

提案手法

• アルゴリズムは、二項ペアワイズポテンシャルに分解可能な関係的ペアワイズモデル（RPMs）を対象としている。
• モデル構造における対称性を活用することで、すべての変数をグランド化せずに推論を実行し、リフトド操作を可能にしている。
• ガウス型ポテンシャルの場合、ガウス分布の閉形式解を活用することで、推論の計算量を線形時間に削減している。
• 推論中に要因の因数分解表現を維持するリフトド変数消去戦略を採用している。
• リフトド要因グラフ上でメッセージパッシング技術を適用し、グランドレベルの計算を回避しながら関係的構造を保持している。
• アルゴリズムはガウス分布および関係的構造の記号的取り扱いを用いて実装されており、近似を伴わずに正確な推論を実現している。

実験結果

リサーチクエスチョン

• RQ1 連続変数を伴う関係的モデルにおいて、正確なリフトド推論を効率的に達成できるか？
• RQ2 連続ドメインにおいて、リフトド推論の計算量はモデルサイズにどのようにスケーリングするか？
• RQ3 リフトド推論は、実行時間およびスケーラビリティの観点でグランドレベル推論を上回ることができるか？
• RQ4 本手法は、既知の連続モデル用リフトド手法に対して、どの程度の性能向上を達成できるか？
• RQ5 実際の応用において、ガウス型ポテンシャルを伴う関係的構造は、アルゴリズムがどのように処理されるか？

主な発見

• 本手法は、ガウス型ポテンシャルを伴う関係的モデルにおいて、従来のリフトド手法の立方時間計算量と比較して線形時間計算量を達成した。
• 本手法は、関係的連続モデルに対する最初の正確なリフトド推論手法であり、大規模なスケールでの正確な確率的推論を可能にした。
• 実験結果では、特にモデルサイズが増加するにつれて、グランド化推論よりも顕著な高速化が確認された。
• 実世界の経済統計例において、実行時間およびスケーラビリティの両面で、既存のリフトド推論アルゴリズムを上回った。
• 数千の変数を含む大規模モデルにおいても、近似を伴わず正確な推論を維持した。
• 高い対称性と繰り返しの生じる関係的パターンを有するモデルにおいて、性能向上が最も顕著に現れた。