[論文レビュー] New Liftable Classes for First-Order Probabilistic Inference

Seyed Mehran Kazemi, Angelika Kimmig+2 more|ORCA Online Research @Cardiff (Cardiff University)|Oct 26, 2016

Bayesian Modeling and Causal Inference被引用数 19

ひとこと要約

本稿は、長らく不要視されてきたドメイン再帰推論規則を再活性化することで、一階確率的推論における新たな持ち上げ可能クラスS²FO²およびS²RUを導入する。これにより、S4問題や誕生日パラドックスを含む、従来は非効率的とされてきたモデルに対しても多項式時間での推論が可能になる。著者らは、ドメイン再帰が、これまでのクラスをはるかに超えるドメイン持ち上げ推論の範囲を拡張することを証明している。

ABSTRACT

Statistical relational models provide compact encodings of probabilistic dependencies in relational domains, but result in highly intractable graphical models. The goal of lifted inference is to carry out probabilistic inference without needing to reason about each individual separately, by instead treating exchangeable, undistinguished objects as a whole. In this paper, we study the domain recursion inference rule, which, despite its central role in early theoretical results on domain-lifted inference, has later been believed redundant. We show that this rule is more powerful than expected, and in fact significantly extends the range of models for which lifted inference runs in time polynomial in the number of individuals in the domain. This includes an open problem called S4, the symmetric transitivity model, and a first-order logic encoding of the birthday paradox. We further identify new classes S2FO2 and S2RU of domain-liftable theories, which respectively subsume FO2 and recursively unary theories, the largest classes of domain-liftable theories known so far, and show that using domain recursion can achieve exponential speedup even in theories that cannot fully be lifted with the existing set of inference rules.

研究の動機と目的

• 長らく不要視されてきたドメイン再帰推論規則を再評価し、ドメイン持ち上げ推論の範囲を拡張するその力を示す。
• S4モデルや対称的推移性モデルといった、一階確率的推論における未解決問題を解き、効率的な推論手法を提供する。
• FO² や再帰的単一（RU）といった既存クラスを包含する、S²FO²およびS²RUという新たな持ち上げ可能クラスを形式的に定義し、それらの存在を証明する。
• 既存の推論規則では完全に持ち上げられない理論に対しても、ドメイン再帰が指数的高速化を実現できることを示す。
• ドメイン再帰を用いたWFOMCベースの推論が、これらの新クラスにおいて多項式時間での推論を可能にし、分割関数の効率的計算を可能にすることを確立する。

提案手法

• ドメインサイズに関する帰納法を用い、1人の個体を固定することで問題をより小さなインスタンスに還元するドメイン再帰規則を再活性化し、形式化する。
• SRLモデルの表現と推論のための基礎的枠組みとして、重み付き一階モデルカウンティング（WFOMC）を用い、推論の複雑さを精確に分析可能にする。
• ドメイン再帰を再帰的に適用して部分問題のドメインサイズを縮小し、WFOMCの結果をキャッシュすることで再計算を回避し、多項式実行時間の確保を図る。
• ドメイン再帰を効果的に適用可能にするために、FO² および RU を拡張する新しい節の集合 α(S) を導入し、S²FO² および S²RU の定義を示す。
• ドメイン再帰と組み合わせて、持ち上げられたケース分析および分解規則を用い、複雑な論理構造を扱いながらもドメイン持ち上げの複雑さを保つ。
• ドメイン再帰に関する閉包性を証明し、規則を適用した後、結果として得られる部分理論が元の理論と同型であり、かつ人口が小さいことから、再帰的適用が可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 ドメイン再帰推論規則が、従来の認識をはるかに超えて強力であることが示せるか。具体的には、既知の持ち上げ可能クラスに属さないモデルに対してもドメイン持ち上げ推論を可能にするか。
• RQ2 ドメイン再帰により、一階確率的推論における未解決問題であるS4モデルに対して多項式時間での推論が可能になるか。
• RQ3 ドメイン再帰を用いて、FO² や RU を包含する、より大きなドメイン持ち上げ可能理論のクラスを定義できるか。
• RQ4 既存の推論規則では完全に持ち上げられないモデルに対しても、ドメイン再帰により指数的高速化が達成可能か。
• RQ5 誕生日パラドックスは一階論理で表現可能であり、ドメイン再帰に基づく推論により、グランドイングベース手法と比較して効率的に計算可能か。

主な発見

• ドメイン再帰規則により、S4モデルに対するドメイン持ち上げ推論が可能となり、Beameら[3]が提起した未解決問題が解決された。
• 対称的推移性モデルは、FO² や RU に属さないが、ドメイン再帰を用いることでドメイン持ち上げ可能であることが示された。
• 誕生日パラドックスは一階論理で表現可能であり、ドメイン再帰を用いた推論により、グランドイングベース手法と比較して指数的高速化が達成された。
• S²FO² および S²RU は形式的に定義され、ドメイン再帰に関して閉じていることが証明された。S²FO² は FO² を包含し、S²RU は RU を包含する。
• S²FO² や S²RU に属する理論（FO² や RU に属さない）をグランドイングする従来の正確な持ち上げ推論アルゴリズムは、本稿で提案するドメイン再帰アプローチと比較して指数的に遅いことが示された。
• 本稿では、ドメイン再帰が、従来の推論規則では完全に持ち上げられない理論に対しても指数的高速化を提供することを確立し、推論複雑度の持ち上げにおけるその基盤的パワーを示した。