[論文レビュー] Amortized Rejection Sampling in Universal Probabilistic Programming

Saeid Naderiparizi, Adam Ścibior+10 more|arXiv (Cornell University)|Oct 20, 2019

Machine Learning and Algorithms参考文献 18被引用数 4

ひとこと要約

本稿では、反復回数が無限大である拒否サンプリングループを扱える、普遍的確率的プログラミング言語向けの新規なアンモタイズド重要度サンプリング推定器を提案する。この手法は、単純なアプローチが失敗する状況でも有限の分散を保証する。各反復における条件付き受容確率に基づいてサンプルを再重み付けし、拒否ループの構造を統合することで、モデルの再定式化を必要とせずに安定かつ有限分散の推論を達成する。

ABSTRACT

Naive approaches to amortized inference in probabilistic programs with unbounded loops can produce estimators with infinite variance. This is particularly true of importance sampling inference in programs that explicitly include rejection sampling as part of the user-programmed generative procedure. In this paper we develop a new and efficient amortized importance sampling estimator. We prove finite variance of our estimator and empirically demonstrate our method's correctness and efficiency compared to existing alternatives on generative programs containing rejection sampling loops and discuss how to implement our method in a generic probabilistic programming framework.

研究の動機と目的

• 反復回数が無限大である拒否サンプリングループを含む確率的プログラムにおけるアンモタイズド重要度サンプリングの不安定性を解消し、単純な推定器が無限分散を示す状況を回避すること。
• 反復回数が無限大であっても、重要度サンプリング推定器の分散が有限であることを保証する手法を開発すること。
• 既存の普遍的確率的プログラミングフレームワークと互換性があり、汎用的かつ効率的かつ正しく動作する推論ソリューションを提供すること。
• 実験的に、提案手法の推定器が、収束の安定性と精度の面で、単純な推論コンパイル手法を上回ることを示すこと。
• 拒否ループを伴う重要度サンプリングが有効であり、かつ有限分散を保つための理論的条件を明確にすること。

提案手法

• 各拒否ループ反復における条件付き受容確率を考慮する再重み付け方式を導入し、ループを受容を条件とした確率的過程として扱う。
• 重要度重みを条件付き密度の積として再定義し、各ステップでの受容確率を組み込むことで、有限分散を保証する。
• 元の生成プログラムを、受容条件を明示的にモデル化する同等の形式に変換し、重みの適切な正規化を可能にする。
• 推論コンパイルを活用してニューラルネットワークで提案分布を近似するが、ループ構造を考慮した重み計算を修正する。
• 最終的な重要度重みが、条件付き密度の積として計算されることを保証する：w ∝ p(z|x, c(x,z)) / q(z|x,y, c(x,z)) ここで c(x,z) は受容を示す。
• 理論的分析により、やや厳しい正則性条件のもとで、反復回数が無限大であっても、推定器の分散が有限であることが証明される。

実験結果

リサーチクエスチョン

• RQ1 反復回数が無限大である拒否サンプリングループを伴う確率的プログラムにおけるアンモタイズド重要度サンプリングを、有限分散で安定化させることは可能か？
• RQ2 ループの反復回数が無限大であっても、有限分散を保証するためには、重要度重みの計算にどのような修正が必要か？
• RQ3 拒否サンプリングループの構造を、モデルの再定式化を要せず、推論コンパイルに形式的に組み込むにはどうすればよいか？
• RQ4 単純な推定器が静黙的に失敗する状況でも、提案手法の推定器は正しい事後分布に収束するか？
• RQ5 本手法は、既存の推論パイプラインへの最小限の変更で、普遍的確率的プログラミングフレームワークに汎用的に実装可能か？

主な発見

• 提案手法は、反復回数が無限大であっても、反復回数が無限大である拒否サンプリングループを伴うプログラムに対して、有限分散の重要度サンプリングを保証する。これは、単純なアプローチが無限分散を示すのとは対照的である。
• 反復回数が無限大であっても、提案分布が推論コンパイルによって学習され、かつ反復回数が無限大であっても、安定した収束と正しい事後分布推定が達成される。
• 実験的評価により、拒否サンプリングループを含むモデルにおいて、提案推定器が収束速度と精度の面で、単純な推論コンパイル手法を上回ることが示された。
• 理論的分析により、個々の重要度重みが有限分散を示すがその積が有限でない場合でも、推定器が有効であり、有限分散を保つことが確認された。
• 従来、重要度サンプリングにおける無限分散により静黙的失敗を起こしていたシミュレータや制約付き分布を含むモデルでも、正しい推論が可能になった。
• 本手法は、既存の普遍的確率的プログラミングフレームワークと互換性があり、推論コンパイルパイプラインにおけるニューラル提案ネットワークとも統合可能である。