[論文レビュー] Structured Factored Inference: A Framework for Automated Reasoning in Probabilistic Programming Languages

Avi Pfeffer, Brian E. Ruttenberg+1 more|arXiv (Cornell University)|Jun 10, 2016

Bayesian Modeling and Causal Inference参考文献 17被引用数 3

ひとこと要約

この論文は、複雑なモデルを部分モデルに分解し、各部分モデルに特化した推論アルゴリズムを適用し、要因に基づく伝搬によって結果を統合する、自動化された確率的推論のためのフレームワークである構造的因子推論（SFI）を紹介する。SFIは、近似的な手法よりもはるかに高速な実行時間で正確な推論と同等の性能を達成し、実世界のモデルにおいて近似的に最適に近い精度とスケーラビリティを示している。

ABSTRACT

Reasoning on large and complex real-world models is a computationally difficult task, yet one that is required for effective use of many AI applications. A plethora of inference algorithms have been developed that work well on specific models or only on parts of general models. Consequently, a system that can intelligently apply these inference algorithms to different parts of a model for fast reasoning is highly desirable. We introduce a new framework called structured factored inference (SFI) that provides the foundation for such a system. Using models encoded in a probabilistic programming language, SFI provides a sound means to decompose a model into sub-models, apply an inference algorithm to each sub-model, and combine the resulting information to answer a query. Our results show that SFI is nearly as accurate as exact inference yet retains the benefits of approximate inference methods.

研究の動機と目的

• 大規模で複雑な実世界のモデルにおける確率的推論の計算ボトル neck を解消すること。
• モデルに適した推論戦略の組み合わせを自動化することで、手動によるアルゴリズム選定と設定の負担を軽減すること。
• 部分モデルに分解可能な、整合性があり意味論的に根拠のあるフレームワークを提供すること。
• 異なる部分モデルで正確な手法と近似的な手法を組み合わせることでハイブリッド推論を可能にし、速度と精度の両方を向上させること。
• 確率的プログラミングにおける汎用的で拡張可能な自動推論システムの基盤を構築すること。

提案手法

• 確率的プログラミングの意味論を活用して、モデル内の分解ポイントを特定し、構造的な部分モデル抽出を可能にする。
• 各部分モデルに対して独立して推論アルゴリズムを適用し、照会に関連する変数の結合分布に削減する。
• 要因を用いて部分モデル間の結果を表現・伝搬させ、推論結果の一貫性のある統合を実現する。
• 構造的複雑さ（例：木幅、要因のサイズ）に基づいて、部分モデルごとのアルゴリズム選定を支援するヒューリスティック戦略を採用する。
• 異なる部分モデルで正確な手法（例：変数消去）と近似的な手法（例：ギブスサンプリング、信念伝搬）を組み合わせることでハイブリッド推論をサポートする。
• インターフェースサイズを最小限に抑える階層的分解戦略を用いて、スケーラビリティを向上させる。

実験結果

リサーチクエスチョン

• RQ1 フレームワークは、複雑な確率的モデルを部分モデルに自動的に分解し、効率的な推論を可能にするか？
• RQ2 異なる部分モデルで正確な手法と近似的な手法を組み合わせることで、高い精度と高速な性能を両立できるか？
• RQ3 分解の粒度と推論戦略の選択が、推論の効率性と精度に与える影響は何か？
• RQ4 SFIにおけるヒューリスティックに基づくアルゴリズム選定は、実世界のモデルにおいてモノリシックな推論アプローチを上回るか？
• RQ5 SFIは、確率的モデリングにおける手動によるアルゴリズムチューニングの必要性をどの程度軽減できるか？

主な発見

• ハイブリッドSFI戦略（VE/BP–15）は、フラットなBP–30やフラットなVEよりも実行時間が速く、精度の差は無視できるほど小さい。
• 地震監視モデルでは、階層的VEがハイブリッド戦略よりも実行時間で優れており、手作業で設計された消去順序がヒューリスティックを上回ることを示している。
• SFIフレームワークは、全テストを地震モデルで完了したが、完全なVEはメモリ制限のため失敗しており、その頑健性が裏付けられた。
• ハイブリッド手法（VE/BP–30）はフラットなBP–30よりも正確で、フラットなVEよりも高速であり、精度と速度の両面で優れていることが示された。
• 単純なヒューリスティクスでさえ、SFIは正確な推論とほぼ同等の精度を達成し、標準の近的手法よりも高速な性能を実現した。
• このフレームワークにより、メモリ制限や時間制限のため正確な手法が失敗するモデルに対しても、スケーラブルな推論が可能になった。