[論文レビュー] MultiVerse: Causal Reasoning using Importance Sampling in Probabilistic Programming

Yura Perov, Logan Graham+5 more|arXiv (Cornell University)|Oct 17, 2019

Bayesian Modeling and Causal Inference参考文献 52被引用数 11

ひとこと要約

MultiVerseは、最適化された重要度サンプリングを用いて、因果推論—特に反事後的推論—を高速化する確率的プログラミングフレームワークを導入する。推論を遅延評価と条件付き実行ブロックに基づいて構造化することで、冗長な計算を削減し、ベンチマーク実験においてPyroを上回る高速な推論を達成するとともに、帰納、介入、予測の各ステップをネイティブにサポートする。

ABSTRACT

We elaborate on using importance sampling for causal reasoning, in particular for counterfactual inference. We show how this can be implemented natively in probabilistic programming. By considering the structure of the counterfactual query, one can significantly optimise the inference process. We also consider design choices to enable further optimisations. We introduce MultiVerse, a probabilistic programming prototype engine for approximate causal reasoning. We provide experimental results and compare with Pyro, an existing probabilistic programming framework with some of causal reasoning tools.

研究の動機と目的

• 重要度サンプリングを活用することで、確率的プログラミングにおける効率的な反事後的推論を実現すること。
• 反事後的クエリにおいて、すべてのモデル変数に推論を単純に適用することによる計算非効率性を是正すること。
• 帰納、介入、予測の3段階の反事後的プロセスをネイティブにサポートするシステムを設計すること。
• 必要となるまで計算を延期することで、条件付き実行ブロックを用いて推論のパフォーマンスを最適化すること。
• 最小限のユーザー負荷でPythonにおいて因果クエリをサポートするプロトタイプエンジンを提供すること。

提案手法

• フレームワークは、3段階の反事後的推論パイプラインを実装する：帰納（潜在変数の事後分布推論）、介入（do演算子を用いた変数値の固定）、予測（介入後の世界における結果の推定）。
• 帰納段階では重要度サンプリングを用いて事後分布を近似し、複雑なモデルにおけるスケーラブルな推論を可能にする。
• 遅延評価メカニズムにより、変数が実際に必要とされるまで計算が行われず、推論中の不要な計算を削減する。
• 条件付き実行ブロック（IF_OBSERVE_BLOCKおよびIF_DO_BLOCK）を用いて、必要な場合にのみ観測と介入の論理を起動し、効率性を向上させる。
• 確率的手続きのためのトレースベースのアドレッシング方式を採用し、推論ステップ全体にわたり変数値と介入の追跡を一貫して行えるようにする。
• Pythonとの統合により、標準的な構文で確率的プログラムを記述可能でありながら、カスタム制御フローを通じて最適化された反事後的クエリを実現する。

実験結果

リサーチクエスチョン

• RQ1 確率的プログラミングにおける反事後的推論に、重要度サンプリングをどのように効率的に適用できるか。
• RQ2 反事後的クエリの構造から導ける最適化は何か。これにより推論コストをどのように低減できるか。
• RQ3 遅延評価と条件付き実行ブロックは、因果推論における推論パフォーマンスを著しく向上させることができるか。
• RQ4 カスタム確率的プログラミングエンジン（MultiVerse）の性能は、Pyroなどの既存フレームワークと比較して、反事後的推論タスクにおいてどのように異なるか。
• RQ5 帰納、介入、予測のネイティブなサポートを、一般用途の確率的プログラミングシステムにどの程度統合できるか。

主な発見

• MultiVerseは、変数が実際に必要とされるまで計算を延期することで、特に多くの潜在変数を含む複雑なモデルにおいて、推論時間を顕著に短縮する。
• 条件付き実行ブロック（IF_OBSERVE_BLOCKおよびIF_DO_BLOCK）の使用により、観測と介入の論理が必要な場合にのみ実行され、冗長な計算が最小限に抑えられる。
• 最適化版のMultiVerseは、標準版のMultiVerseおよびPyroをすべての点で上回る推論速度を達成しており、特に高次元または複雑なモデルのシナリオで顕著である。
• フレームワークは、1つの拡張可能な確率的プログラミングインターフェース内で、帰納、介入、予測の完全な反事後的推論パイプラインを成功裏にサポートする。
• トレースベースのアドレッシングとcompute_procedure_if_necessaryの活用により、介入済みまたは観測済みの変数の再計算を回避し、効率性と正しさが向上する。
• プロトタイプは、構造的最適化によるパフォーマンス向上が、一般用途のPythonベース実装においても測定可能で実用的であることを示している。