[論文レビュー] Guaranteed Bounds for Posterior Inference in Universal Probabilistic Programming

Raven Beutner, C.-H. Luke Ong+1 more|arXiv (Cornell University)|Apr 6, 2022

Machine Learning and Algorithms被引用数 4

ひとこと要約

この論文は、区間ベースのトレース意味論と重みに配慮した区間型システムを用いて、確率的プログラムの事後分布の保証付き下限と上限を計算する整合的で完全な手法を導入する。このアプローチにより、真の事後分布がこれらの境界の間に存在することが保証され、Pyro や Anglican などの確率的推論ツールの検証が可能になる。プロトタイプツール（GuBPI）は、連続分布を伴う再帰的・高階関数型モデルにおいて実用的な有効性を示している。

ABSTRACT

We propose a new method to approximate the posterior distribution of probabilistic programs by means of computing guaranteed bounds. The starting point of our work is an interval-based trace semantics for a recursive, higher-order probabilistic programming language with continuous distributions. Taking the form of (super-/subadditive) measures, these lower/upper bounds are non-stochastic and provably correct: using the semantics, we prove that the actual posterior of a given program is sandwiched between the lower and upper bounds (soundness); moreover the bounds converge to the posterior (completeness). As a practical and sound approximation, we introduce a weight-aware interval type system, which automatically infers interval bounds on not just the return value but also weight of program executions, simultaneously. We have built a tool implementation, called GuBPI, which automatically computes these posterior lower/upper bounds. Our evaluation on examples from the literature shows that the bounds are useful, and can even be used to recognise wrong outputs from stochastic posterior inference procedures.

研究の動機と目的

• 汎用確率的プログラミング言語における確率的事後推論の正しさに関する保証の欠如に対処すること。
• 再帰的・高階関数型のプログラムに適用可能な連続分布を伴う事後分布の整合的かつ完全な境界を提供すること。
• 既存の推論ツール（例：HMC や重要度サンプリング）からの誤った出力を自動検出可能にすること。
• 戦略的精度向上を図るため、戦略的値と実行重みの両方の境界を同時に推論する型システムの開発。
• これらの境界を効率的かつ信頼性高く計算するツール（GuBPI）の実装と評価。

提案手法

• 区間ベースのトレース意味論を用いて、連続分布を伴う再帰的・高階関数型確率的言語を形式化する。
• 真の事後分布を挟む上界と下界を、上位加法的および下位加法的測度として定義し、整合性を保証する。
• 戦略的値と実行重みの両方の境界を制約に基づく推論で追跡する、重みに配慮した区間型システムを導入する。
• シンボリック実行を用いて、区間境界をプログラムのトレース全体にわたって伝播させ、事後分布の静的解析を可能にする。
• サンプリングを行わず、区間演算を用いて確率的トレース上で安全かつ保守的な計算を実行する。
• ベンチマークモデル上でこれらの境界を自動的に計算・検証するための GuBPI ツールを実装する。

実験結果

リサーチクエスチョン

• RQ1 普遍的確率的プログラムの事後分布に対して、保証付きの下限と上限を形式的に定義し、計算可能か？
• RQ2 プログラムの複雑さに関係なく、真の事後分布が常にこれらの境界内に存在することをどのように保証できるか？
• RQ3 提案された型システムは、戦略的値と実行重みの両方の境界を同時に推論可能か？精度向上に寄与するか？
• RQ4 これらの境界は、HMC や重要度サンプリングなどの既存の確率的推論ツールにおける誤りをどの程度検出可能か？
• RQ5 再帰的・高階関数型のモデルに連続分布を伴う場合、この手法はどの程度スケーラブルか？

主な発見

• 提案された区間ベースのトレース意味論により、整合性が保証される：真の事後分布は常に計算された下限と上限の間に存在する。
• 完全性が達成される： refining を繰り返すことで、境界は真の事後分布分布に収束する。
• 重みに配慮した区間型システムにより、戦略的値と実行重みの両方の境界を正確かつ自動的に推論可能である。
• GuBPI は、Pedestrian 例において Pyro の HMC と Anglican の重要度サンプリングの出力が著しく食い違うことを検出できた。
• シミュレーションベースのキャリブレーションにより、HMC が事後分布のモードを逃していた一方、GuBPI の境界は正しく、検証可能であった。
• Pedestrian 例のようなモデルでは、GuBPI はシミュレーションベースのキャリブレーションよりも実行時間が短く、形式的保証を提供している。