[論文レビュー] Divide, Conquer, and Combine: a New Inference Strategy for Probabilistic Programs with Stochastic Support

Yuan Zhou, Hongseok Yang+2 more|arXiv (Cornell University)|Jul 12, 2020

Bayesian Modeling and Causal Inference被引用数 5

ひとこと要約

本稿では、実行ごとにモデル構造が変化する確率的プログラムにおける確率的サポートを備えた新しい推論フレームワークである「分割・征服・統合（DCC）」を提案する。推論をモジュラーで再利用可能なコンponentに分解し、重み付き平均を用いて結果を統合することで、従来の手法に比べて顕著な性能向上を達成する。特に非標準のモデルにおいて顕著な性能向上を示し、3つのベンチマーク例において顕著な性能向上を確認した。

ABSTRACT

Universal probabilistic programming systems (PPSs) provide a powerful framework for specifying rich probabilistic models. They further attempt to automate the process of drawing inferences from these models, but doing this successfully is severely hampered by the wide range of non--standard models they can express. As a result, although one can specify complex models in a universal PPS, the provided inference engines often fall far short of what is required. In particular, we show that they produce surprisingly unsatisfactory performance for models where the support varies between executions, often doing no better than importance sampling from the prior. To address this, we introduce a new inference framework: Divide, Conquer, and Combine, which remains efficient for such models, and show how it can be implemented as an automated and generic PPS inference engine. We empirically demonstrate substantial performance improvements over existing approaches on three examples.

研究の動機と目的

• 実行ごとにサポートが変化するモデルにおける、汎用的確率的プログラミングシステム（PPS）の推論性能の低さを解決すること。
• このようなモデルではしばしば事前分布からの重要度サンプリングに劣化する既存の推論エンジンの限界を克服すること。
• 非標準のモデルに対しても効率性と正確性を維持する、汎用的で自動化された推論エンジンを設計し、汎用PPSと互換性を持たせること。
• 動的条件付けや分岐を含むような、実行間でモデル構造が固定でない確率的プログラムにおいて、スケーラブルで頑健な推論を可能にすること。

提案手法

• 実行パスに基づいて条件付き独立なコンポonentにモデルを分割することで、推論問題をより小さな管理しやすい部分問題に分解する。
• 各部分問題に対して、MCMC や変分推論などの特別な推論技術を個別に適用し、コンポonentごとに最適化された手法を採用する。
• 各部分問題を、そのサブモデルの局所的構造に最適化された効率的な推論アルゴリズムを用いて解決する。
• 各実行パスの尤度を考慮した重み付き平均化スキームを用いて、個々の推論結果を統合する。
• プログラムを静的に解析して分解ポイントとパス確率を特定することで、ユニバーサルPPS内でパイプライン全体を自動化する。
• 分解および再結合段階において確率的整合性を保つことで、正しさと効率性を確保する。

実験結果

リサーチクエスチョン

• RQ1 実行ごとにサポートが変化する確率的プログラムにおいて、どのようにして効率的かつ正確な推論を実現できるか？
• RQ2 提案された「分割・征服・統合」フレームワークは、確率的サポートを有するモデルにおいて、既存の推論エンジンをどの程度上回るか？
• RQ3 多様な非標準的確率的モデルにスケーラブルに適用可能な、汎用的で自動化された推論戦略を設計できるか？
• RQ4 パス固有の推論と重み付き統合の影響は、全体の推論品質および収束速度にどのような影響を及えるか？

主な発見

• 「分割・征服・統合」フレームワークは、確率的サポートを有する3つのベンチマークモデルにおいて、既存の推論手法に比べて顕著な性能向上を達成した。
• 実行ごとにサポートが変化するモデルでは、DCCは、標準的なPPS推論エンジンがしばしば事前分布からの重要度サンプリングに劣化するのを回避した。
• 動的構造を含む複雑なモデル、例えば確率的分岐や条件付き構造を含むモデルにおいても、高い正確性と効率性を維持した。
• 実験的評価により、DCCはベースライン手法と比較して推論誤差を低減し、収束速度を向上させたことが確認された。
• 分解と再結合戦略により、サブモデルごとに特別な推論技術を効果的に活用でき、全体の推論品質が向上した。
• この手法は完全に自動化されており、モデル固有のチューニングを必要とせず、幅広い汎用PPSに適用可能である。