[論文レビュー] LF-PPL: A Low-Level First Order Probabilistic Programming Language for Non-Differentiable Models

Yuan Zhou, Bradley Gram-Hansen+4 more|arXiv (Cornell University)|Mar 6, 2019

Bayesian Modeling and Causal Inference被引用数 10

ひとこと要約

本稿では、連続変数、離散変数、および区分的連続変数を含むモデルを想定した低レベルの1階確率的プログラミング言語であるLF-PPLを紹介する。LF-PPLは、ターゲット密度関数の不連続性が測度ゼロであることを保証する数学的制約を課すことにより、不連続性境界の自動検出を可能にし、不連続性に適応した特別なDiscontinuous Hamiltonian Monte Carlo（DHMC）エンジンを介して効率的な推論を実現する。これにより、標準的なHMCと比較して非微分可能モデルにおける性能が顕著に向上する。

ABSTRACT

We develop a new Low-level, First-order Probabilistic Programming Language (LF-PPL) suited for models containing a mix of continuous, discrete, and/or piecewise-continuous variables. The key success of this language and its compilation scheme is in its ability to automatically distinguish parameters the density function is discontinuous with respect to, while further providing runtime checks for boundary crossings. This enables the introduction of new inference engines that are able to exploit gradient information, while remaining efficient for models which are not everywhere differentiable. We demonstrate this ability by incorporating a discontinuous Hamiltonian Monte Carlo (DHMC) inference engine that is able to deliver automated and efficient inference for non-differentiable models. Our system is backed up by a mathematical formalism that ensures that any model expressed in this language has a density with measure zero discontinuities to maintain the validity of the inference engine.

研究の動機と目的

• 非微分可能密度関数を伴う確率的モデルにおける効率的推論の課題に対処すること。特に、離散的または区分的連続的変数に起因するモデルを想定する。
• ターゲット密度関数における測度ゼロの不連続性を形式的に保証する低レベルの確率的プログラミング言語を設計すること。
• 連続的および不連続的変数を自動的に分類し、実行時における境界通過を検出するコンパイルスキームを設計すること。
• 不連続性の位置を手動で指定することなく、専用の推論エンジン（例：DHMC）を確率的プログラミングシステムに統合すること。
• Gaussian Mixture Modelsおよび重尾の区分的分布を用いた実験的評価を通じて、本フレームワークの実用的有効性を示すこと。

提案手法

• LF-PPLは、関連する密度関数の不連続性が測度ゼロであることを保証する数学的制約をモデルの構文に課すことにより、不連続性に適応した推論アルゴリズムの有効性を維持する。
• if-else文などの明示的な制御構造を備えた1階で低レベルの構文を用い、離散的および連続的変数を含む混合変数タイプのモデルを表現する。
• 新規のコンパイルスキームにより、モデルを静的に解析し、密度関数に対して不連続性を引き起こす変数を分類し、境界通過の実行時チェックを挿入する。
• 座標毎の積分器を用いることで、不連続性が存在する状況でも効率を保つDiscontinuous Hamiltonian Monte Carlo（DHMC）のような推論エンジンの実装を支援する。
• コンパイルパイプラインにより、LF-PPLプログラムを実行可能な推論コードに変換し、既存の確率的プログラミングバックエンドとの統合を可能にする。
• 翻訳規則を用いた形式的検証により、意味的正しさおよび測度ゼロの不連続性保証を保証する。

実験結果

リサーチクエスチョン

• RQ1 ターゲット密度関数における不連続性が測度ゼロであることを形式的に保証できる低レベルの確率的プログラミング言語を設計できるか？
• RQ2 コンパイルスキームが、確率的モデルの密度関数における不連続性を引き起こす変数を自動的に同定できるか？
• RQ3 実行時における不連続性境界通過の検出を、非微分可能モデルの効率的推論を可能にする形で達成できるか？
• RQ4 このようなコンパイルパイプラインを用いて、DHMCのような専用推論エンジンを確率的プログラミング言語内で効果的に自動化できるか？
• RQ5 LF-PPLにおけるDHMCの統合が、非微分可能モデルにおいて標準HMCや他のベースラインと比較して測定可能な性能向上をもたらすか？

主な発見

• LF-PPLに実装されたDHMC推論エンジンは、Gaussian Mixture ModelにおいてPyMC3のNUTSとMetropolis-within-Gibbsの性能と同等の結果を示し、10^5サンプルにおける平均二乗誤差（MSE）も類似している。
• 不連続性を有する高次元の区分的モデルにおいて、DHMCは標準HMCに比べて、特に次元数が増加するにつれて、最悪平均絶対誤差（WMAE）の観点で優れている。
• 次元数の増加に伴い、標準HMCの性能劣化は著しく速く進行するが、DHMCは座標毎の積分器設計により、サンプルあたりの効率が安定を保っている。
• コンパイルスキームは実行時に不連続性境界を正しく検出できており、不連続性の位置を手動でアノテートすることなくDHMCの正しく動作を可能にしている。
• LF-PPLの形式的意味論により、言語で記述されたすべてのモデルが測度ゼロの不連続性を持つ密度関数を持つことが保証され、不連続性に適応した推論アルゴリズムの使用が正当化される。
• 実験的結果により、LF-PPLが非微分可能モデルにおける自動的かつ効率的な推論を可能にし、高度な推論エンジンをPPLに統合する可能性を実証している。