[論文レビュー] Fast Exact Inference for Recursive Cardinality Models

Daniel Tarlow, Kevin Swersky+3 more|arXiv (Cornell University)|Oct 16, 2012

Bayesian Modeling and Causal Inference参考文献 28被引用数 28

ひとこと要約

この論文は、活性な2値変数の数に基づく高次ポテンシャルを用いる確率的モデルである再帰的基数モデル（RCMs）の高速で正確な推論アルゴリズムを提示する。補助変数を導入した木構造の因子グラフへの問題の再定式化により、正確な周辺化と結合サンプリングにおいてO(D log²D)の時間計算量を達成し、このようなモデルに対しては従来の手法よりも顕著に効率的である。

ABSTRACT

Cardinality potentials are a generally useful class of high order potential that affect probabilities based on how many of D binary variables are active. Maximum a posteriori (MAP) inference for cardinality potential models is well-understood, with efficient computations taking O(DlogD) time. Yet efficient marginalization and sampling have not been addressed as thoroughly in the machine learning community. We show that there exists a simple algorithm for computing marginal probabilities and drawing exact joint samples that runs in O(Dlog2 D) time, and we show how to frame the algorithm as efficient belief propagation in a low order tree-structured model that includes additional auxiliary variables. We then develop a new, more general class of models, termed Recursive Cardinality models, which take advantage of this efficiency. Finally, we show how to do efficient exact inference in models composed of a tree structure and a cardinality potential. We explore the expressive power of Recursive Cardinality models and empirically demonstrate their utility.

研究の動機と目的

• 基数ポテンシャルを有するモデルにおける周辺化とサンプリングのための効率的な正確な推論手法の不足に対処すること。
• 正確な推論を維持しつつ表現力を保つ新しいモデルクラス—再帰的基数モデル—を考案すること。
• 木構造の依存関係と基数に基づくポテンシャルを組み合わせたモデルに対して、スケーラブルで正確な推論フレームワークを提供すること。
• 提案手法の実用的有用性と効率性を、現実世界の確率的モデリングのシナリオにおいて実証すること。

提案手法

• 基数ポテンシャルを木構造の因子グラフに変換するための補助変数を導入し、効率的な信念伝播を可能にする。
• メッセージ伝達中に計算効率を維持するために、基数ポテンシャルの再帰的分解を活用する。
• Dを2値変数の数として、O(D log²D)時間でメッセージを伝播させることで、正確な周辺分布と結合サンプルを計算する。
• 低次の木構造における信念伝播としてアプローチを定式化し、近似を伴わずに正確な推論を保証する。
• 再帰的構造により、複雑なモデルをモジュール式に構築しつつ、計算可能性を維持できる。
• 基数ポテンシャルの代数的構造を活用することで、周辺推論と正確なサンプリングの両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 高次基数ポテンシャルを有するモデルに対して、正確な推論を効率的に行うことは可能か？
• RQ2 このようなモデルにおける周辺化とサンプリングの計算複雑性をどのように低減できるか？
• RQ3 基数ポテンシャルを計算可能性のあるグラフィカルモデルとして効果的に表現する最良の方法は何か？
• RQ4 木構造の依存関係と基数ポテンシャルを組み合わせつつ正確な推論を保つ新しいモデルクラスを設計できるか？
• RQ5 提案手法の実効性は、既存の手法と比較してどのように評価できるか？

主な発見

• 提案アルゴリズムは、高次ポテンシャルに対してO(D log²D)時間で正確な推論を達成し、ナイーブな手法よりも顕著に高速である。
• この手法により、従来では計算的に不可能とされていた正確な結合サンプリングと周辺化が可能となった。
• 再帰的基数モデルが、複雑な依存関係をモデル化するのに十分な表現力を有しながらも、推論の計算可能性を維持していることが示された。
• ベンチマーク問題における実験結果から、本手法の効率性とスケーラビリティが実証された。
• 補助変数を用いた木構造の因子グラフへの再定式化により、効率的なメッセージ伝達と正確な推論が可能になった。
• 正確性を維持しつつ、従来の手法よりも推論速度で優れた性能を示した。