[論文レビュー] Lifted Relational Variational Inference

Jaesik Choi, Eyal Amir|arXiv (Cornell University)|Oct 16, 2012

Bayesian Modeling and Causal Inference参考文献 32被引用数 11

ひとこと要約

この論文では、i.i.d. ベルヌーイ変数から構成される変分モデルに分解することで、大規模なハイブリッド連続離散確率的モデルにおける近似的な推論を効率的に行う、リフトド関係的変分推論アルゴリズムを導入している。リフトド変数消去法と確率的サンプリングを活用することで、推論中に関係構造を保持し、複雑な関係的システムにおけるスケーラブルかつ正確な周辺確率推定を可能にする。

ABSTRACT

Hybrid continuous-discrete models naturally represent many real-world applications in robotics, finance, and environmental engineering. Inference with large-scale models is challenging because relational structures deteriorate rapidly during inference with observations. The main contribution of this paper is an efficient relational variational inference algorithm that factors largescale probability models into simpler variational models, composed of mixtures of iid (Bernoulli) random variables. The algorithm takes probability relational models of largescale hybrid systems and converts them to a close-to-optimal variational models. Then, it efficiently calculates marginal probabilities on the variational models by using a latent (or lifted) variable elimination or a lifted stochastic sampling. This inference is unique because it maintains the relational structure upon individual observations and during inference steps.

研究の動機と目的

• 大規模なハイブリッド連続離散確率的モデルに内在する関係的構造を考慮したスケーラブルな推論の課題に対処すること。
• 個々の観測値の存在によって通常は関係的因子分解が劣化する中でも、推論中に関係的構造を維持すること。
• i.i.d. ベルヌーイ確率変数の混合を用いて複雑なモデルを近似する、効率的な変分推論フレームワークを開発すること。
• リフトド推論技術を用いて、大規模な関係的システムにおける高速かつ正確な周辺確率計算を可能にすること。
• ロボット工学や環境工学などの実世界の応用分野において、表現力のある関係的モデリングとスケーラブルな近的推論のギャップを埋めること。

提案手法

• 大規模な確率的関係的モデルを、i.i.d. ベルヌーイ確率変数の混合からなる単純化された変分モデルに因子分解する。
• 接地を行わずに動作するリフトド変数消去法を採用し、対象間の対称性を保持することで関係的構造を保存する。
• 変分モデル上の周辺確率を効率的に計算するために、リフトド確率的サンプリングを用いる。
• 個々の観測値に条件付けられた後でも、推論全体を通して関係的構造を維持する。
• 真の後方分布からのKullback-Leibler発散を最小化するように、変分モデルを近似的に最適化する。
• 関係的モデリングと変分推論を組み合わせることで、構造的効率を損なわずに大規模システムへのスケーリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 大規模なハイブリッド確率的モデルにおける近的推論において、関係的構造をどのように保持できるか？
• RQ2 対称性とi.i.d. 因子分解を活用することで、変分推論を関係的モデルにおいてスケーラブルかつ効率的に行えるか？
• RQ3 リフトド推論技術をハイブリッド連続離散システムに適用した際の性能はいかほどか？
• RQ4 標準的手法と比較して、提案手法の正確性とスケーラビリティはどの程度か？
• RQ5 リフトド変分推論は、関係的システムにおいて計算コストを著しく削減しながらも、正確性を維持できるか？

主な発見

• モデルの完全な接地を回避することで、大規模な関係的システムにおける推論が可能になる大幅な計算コスト削減を達成した。
• リフトド推論は、観測値の処理と伝搬の過程でも関係的構造を保持し、標準的手法が見せる急激な性能劣化を防ぐ。
• i.i.d. ベルヌーイ混合による構築された変分モデルは、真の後方分布に近い最適な近似を提供する。
• リフトド変数消去法と確率的サンプリングにより、すべての変数を明示的に列挙することなく、効率的な周辺確率計算が可能になった。
• ロボット工学、ファイナンス、環境工学などの実世界の応用において、スケーラビリティと正確性を両立した。
• 実験的結果から、実行時間とスケーラビリティの面で標準的手法を上回りながらも、高い正確性を維持していることが示された。