[論文レビュー] Bisimulation-based Approximate Lifted Inference

Prithviraj Sen, Amol Deshpande+1 more|arXiv (Cornell University)|May 9, 2012

Machine Learning and Algorithms参考文献 21被引用数 48

ひとこと要約

本稿では、グラフ理論的双対性を用いて確率的グラフィカルモデル内の対称性を自動で同定する、双対性に基づく近似リフトインフェレンスという手法を紹介する。同手法により、同等の確率的変数をグループ化し、その分布を近似することで、グランドインフェレンスと比較して桁違いの高速化を達成するとともに、調整可能なパラメータにより近似誤差を制御できる。

ABSTRACT

There has been a great deal of recent interest in methods for performing lifted inference; however, most of this work assumes that the first-order model is given as input to the system. Here, we describe lifted inference algorithms that determine symmetries and automatically lift the probabilistic model to speedup inference. In particular, we describe approximate lifted inference techniques that allow the user to trade off inference accuracy for computational efficiency by using a handful of tunable parameters, while keeping the error bounded. Our algorithms are closely related to the graph-theoretic concept of bisimulation. We report experiments on both synthetic and real data to show that in the presence of symmetries, run-times for inference can be improved significantly, with approximate lifted inference providing orders of magnitude speedup over ground inference.

研究の動機と目的

• 繰り返し構造を持つ確率的モデルにおけるスケーラブルなインフェレンスの課題に対処すること。
• 手動での指定を必要とせず、一階論理モデル内の対称性を自動で発見する手法を開発すること。
• 双対性同値類を活用することで、誤差が束縛された近似リフトインフェレンスを実現すること。
• 対称的モデルにおいてグランドインフェレンスよりも顕著な性能向上を達成すること。
• インフェレンスの精度と計算効率の間の調整可能なトレードオフを提供すること。

提案手法

• 本手法は、構造的・確率的役割が同一の確率的変数を同値類にグループ化するために、グラフ理論的双対性を用いる。
• 同値変数を縮約することで商モデルを構築し、インフェレンス問題のサイズを削減する。
• 近似インフェレンスは商モデル上で実行され、双対性プロセス中に導入される近似の度合いによって誤差が束縛される。
• 精度と効率のバランスをユーザーが調整可能なパラメータによって近似を制御する。
• 本手法は離散的および連続的分布をサポートし、広範な確率的モデルに適用可能である。
• 既存のリフトインフェレンスフレームワークと統合可能であり、合成データおよび実世界のデータに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 確率的モデル内の対称性は、効率的なインフェレンスを可能にするために自動で同定可能か？
• RQ2 精度を保ちつつ効率を向上させる近似リフトインフェレンスは、どのように設計できるか？
• RQ3 双対性に基づくグループ化は、対称的モデルにおけるインフェレンス時間をどの程度短縮できるか？
• RQ4 調整可能なパラメータが精度と速度のトレードオフに与える影響は何か？
• RQ5 多様な対称性構造を有する実世界および合成データセットにおいて、本手法はどのようにスケーリングするか？

主な発見

• 高い対称性を示すモデルにおいて、グランドインフェレンスと比較して桁違いの高速化が達成された。
• 近似リフトインフェレンスは誤差が束縛されており、誤差の範囲はユーザーが定義したパラメータによって制御される。
• アルゴリズムは対称的変数グループを正しく同定・縮約し、モデルサイズとインフェレンス時間を顕著に削減した。
• 合成データおよび実世界データの両方における実験により、繰り返し構造を持つモデルにおいて一貫した性能向上が示された。
• 本手法は効果的にスケーリングされ、多様なモデルタイプおよび対称性レベルにおいて頑健であることが確認された。
• 双対性の使用により、同等の変数が正しくグループ化され、商モデルにおける構造的整合性が保持された。