[論文レビュー] Declarative Probabilistic Programming with Datalog

Vikash K. Mansinghka, Daniel Selsam+1 more|arXiv (Cornell University)|Apr 1, 2014

Bayesian Modeling and Causal Inference参考文献 44被引用数 180

ひとこと要約

この論文は、新しい確率的手続きインターフェース（SPI）、確率的実行トレース（PET）、段階的推論用スキャフォールド、および確率的再生成アルゴリズムを備えた、チューリング完全で高階関数をサポートする、カスタマイズ可能な推論戦略を可能にする確率的プログラミング言語Ventureを紹介する。主な貢献は、線形時間計算量で実行可能な、効率的かつ合成可能なメトロポリス・ハスティングス法、ギブスサンプリング、およびハイブリッド粒子・マルコフ連鎖モンテカルロ法を実現するスケーラブルで合成可能な推論フレームワークであり、従来のアプローチで見られる二次的スケーリング問題を克服する。

ABSTRACT

Probabilistic programming languages are used for developing statistical models, and they typically consist of two components: a specification of a stochastic process (the prior), and a specification of observations that restrict the probability space to a conditional subspace (the posterior). Use cases of such formalisms include the development of algorithms in machine learning and artificial intelligence. We propose and investigate an extension of Datalog for specifying statistical models, and establish a declarative probabilistic-programming paradigm over databases. Our proposed extension provides convenient mechanisms to include common numerical probability functions; in particular, conclusions of rules may contain values drawn from such functions. The semantics of a program is a probability distribution over the possible outcomes of the input database with respect to the program. Observations are naturally incorporated by means of integrity constraints over the extensional and intensional relations. The resulting semantics is robust under different chases and invariant to rewritings that preserve logical equivalence.

研究の動機と目的

• 表現力豊かでカスタマイズ可能な推論をサポートする汎用的確率的プログラミングシステムを設計すること。
• モデルの複雑さに比例して二次的にスケーリングする既存の推論手法の非効率性を解消すること。
• 統一された推論フレームワーク内で外部モデルや尤度フリーなシミュレータを統合できること。
• MCMCと変分推論を組み合わせたハイブリッド推論戦略を合成可能で拡張可能なアーキテクチャで実装できること。
• 多様なワークロードに対応できる、ブラックボックスから高度に最適化された推論戦略までをカバーする、自動推論とエキスパート制御推論プログラミングの両方をサポートすること。

提案手法

• 基本的な確率的変数をカスタム制御フロー、高階関数、および隠れ変数のシミュレーション要求を統合する、確率的手続きインターフェース（SPI）を導入する。
• プログラム実行における条件付き依存、存在的依存、交換可能性を捉えるデータ構造として、確率的実行トレース（PET）を定義する。
• PETの分割であるスキャフォールドを提案し、グローバルな推論を一貫性のある局所的サブ問題に分解することで、段階的な処理を可能にする。
• 条件付き独立な変数を再訪問せずに、スキャフォールド内のPET断片を変更する確率的再生成アルゴリズムを開発する。これにより、線形時間の更新が可能になる。
• 再生成を用いて、メトロポリス・ハスティングス法およびハイブリッド粒子・MCMC法の不変遷移作用素を構築する。
• 合成可能なカーネルと状態依存の提案選択を用いた推論プログラミングをサポートし、汎用的な推論戦略を実現する。

実験結果

リサーチクエスチョン

• RQ1 確率的プログラミングシステムは、チューリング完全なモデリングと、スケーラブルで合成可能な効率的推論戦略を同時にサポートできるか？
• RQ2 プログラム構造の変更に対して、二次的計算コストを負担せずに、推論アルゴリズムを強靭に保てるか？
• RQ3 確率的再生成により、MCMCサンプリング中に実行トレースに対して効率的かつ文脈に依存しない更新が可能になるか？
• RQ4 尤度フリーなシミュレータや外部モデルを、確率的推論パイプラインにネイティブに統合できるか？
• RQ5 MCMCと変分推論を組み合わせたハイブリッド推論戦略を、合成可能性と性能保証を満たす形で実装できるか？

主な発見

• 確率的再生成により、モデルサイズに比例して線形にスケーリングする推論更新が可能となり、従来のアプローチで一般的な二次的爆発を回避できる。
• スキャフォールドに基づく実行トレースの分解により、局所的依存関係を分離することで、効率的かつ段階的な推論が可能になる。
• SPIにより、外部モデルや尤度フリーなシミュレータを、カスタム提案と隠れ変数管理と併せてシームレスに統合できる。
• 粒子・マルコフ連鎖モンテカルロ法や平均場変分推論といったハイブリッド推論戦略が、同じ合成可能なカーネルフレームワークで実装可能である。
• フレームワークは自動推論とエキスパートがプログラミングした推論を両方サポートしており、ブラックボックスから高度に最適化された推論戦略までをカバーする。
• 実験的結果から、動的構造を持つ複雑なモデルにおいて、特に部分的に交換可能な系列やネストされた確率的プロセスを含むモデルで、確率的再生成が推論時間を顕著に短縮することが示された。