[論文レビュー] Tractability through Exchangeability: A New Perspective on Efficient Probabilistic Inference

Mathias Niepert, Guy Van den Broeck|arXiv (Cornell University)|Jan 7, 2014

Bayesian Modeling and Causal Inference参考文献 30被引用数 12

ひとこと要約

本稿は、条件付き独立性が存在しない状況下でも、数百万の変数を含む高木幅モデルにおける取り扱い可能な確率的推論を可能にする基本的な統計的性質として、有限部分交換可能性を導入する。交換可能性は条件付き独立性とは補完的であり、ラインプド推論アルゴリズムの効率性を説明するものであり、統計的関係モデルにおける正確かつ近似的なラインプド推論の統一的統計的基盤を提供する。

ABSTRACT

Exchangeability is a central notion in statistics and probability theory. The assumption that an infinite sequence of data points is exchangeable is at the core of Bayesian statistics. However, finite exchangeability as a statistical property that renders probabilistic inference tractable is less well-understood. We develop a theory of finite exchangeability and its relation to tractable probabilistic inference. The theory is complementary to that of independence and conditional independence. We show that tractable inference in probabilistic models with high treewidth and millions of variables can be understood using the notion of finite (partial) exchangeability. We also show that existing lifted inference algorithms implicitly utilize a combination of conditional independence and partial exchangeability.

研究の動機と目的

• 有限部分交換可能性という統計的性質を特定・形式化し、それが高木幅を持つ確率的モデルにおける取り扱い可能な推論の源泉となること。
• 交換可能性が条件付き独立性を補完し、特に高木幅が大きく変数数が多いモデルにおいて効率的推論を可能にすることを示すこと。
• マークフ・ロジック・ネットワークのようなモデルにおける構文的対称性と意味的交換可能性を結びつけることにより、正確なラインプド推論の統計的特徴付けを提供すること。
• 交換可能性に基づく共通の理論的枠組みの下で正確および近似的な推論アプローチを統一すること。
• 既存のラインプド推論アルゴリズムが、条件付き独立性と部分交換可能性の組み合わせに暗黙的に依存していることを示すこと。

提案手法

• 変数の置換に対して不変である統計的性質として、有限（部分）交換可能性の理論を構築し、モデル表現とは独立に扱う。
• 条件付き独立性の因子分解に類似した、交換可能な分解を導入し、効率的推論を可能にする。
• 理論をマークフ・ロジック・ネットワーク（MLNs）に適用し、ドメインレベルの対称性が、グランドアトムの交換可能な分解を誘発することを示す。
• ドメインの置換の下で、一元的および自己ループを伴う二項アトムが交換可能なコンポーネントを形成することを証明し、それらを条件とした非対角線の二項アトムが独立に分解可能であることを示す。
• 組合せ的構成を用いて、交換可能性と限定的なクエリ構造を活用し、周辺確率を効率的に計算する。
• クエリが限定的な数の二項アトムのみを含む場合、小規模なクエリ状態の列挙がドメインサイズに依存せず、依然として取り扱い可能であり、ドメインラインプド推論が可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 条件付き独立性が存在しない高木幅を持つ確率的モデルにおいて、効率的推論を可能にする統計的性質は何か？
• RQ2 有限部分交換可能性は、取り扱い可能な推論を可能にするために、条件付き独立性とどのように関係し、補完するか？
• RQ3 ラインプド推論アルゴリズムの成功は、構文的対称性を超えた根本的な統計的原則によって説明可能か？
• RQ4 交換可能性は、統計的関係モデルにおける正確なラインプド推論の取り扱い可能性をどの程度まで特徴づけられるか？
• RQ5 マークフ・ロジック・ネットワークのようなモデルにおける構文的対称性は、どのように意味的交換可能性および効率的推論を生じさせるか？

主な発見

• 有限部分交換可能性は、高木幅が大きく、数百万の変数を含む確率的モデルにおける取り扱い可能な推論の十分条件である。
• ラインプド推論アルゴリズムは、条件付き独立性と部分交換可能性の組み合わせを暗黙的に利用しており、これらが組み合わさることで、条件付き独立性のみに依存する場合よりも広いクラスの取り扱い可能なモデルを定義する。
• 本稿は、マークフ・ロジック・ネットワークにおいて、一元的アトムおよび自己ループを伴う二項アトムがドメインの置換の下で交換可能なコンポーネントを形成することを証明し、効率的推論を可能にする。
• 非対角線の二項アトムは、交換可能なコンポーネントを条件とした上で独立に分解可能であり、多項式時間で結合確率の因子分解計算が可能である。
• クエリが限定的な数の二項アトムのみを含む場合、クエリ状態の数がドメインサイズに依存しないため、推論はドメインラインプドのままである。
• 理論的結果により、交換可能性が正確なラインプド推論の統計的特徴付けを提供し、正確および近似的な推論フレームワークを統一する。