[論文レビュー] Discrete-Continuous Mixtures in Probabilistic Programming: Generalized Semantics and Inference Algorithms

Yi Wu, Siddharth Srivastava+3 more|arXiv (Cornell University)|Jun 6, 2018

Bayesian Modeling and Causal Inference被引用数 12

ひとこと要約

この論文は、離散的・連続的混合分布のための確率的プログラミングの意味論を一般化するため、測度論的ベイジアンネットワーク（MTBN）を導入する。これにより、ハイブリッドな確率的変数の正しいモデリングが可能になる。本稿では、2つの証明可能な正しさを持つ推論アルゴリズム—順序付き尤度重み付け（LLW）および順序付きパーティクルフィルタ（LPF）—を提案し、BLOGにおいて実装することで、標準的手法が確率質量と密度の区別に混乱するため失敗する状況でも正確な推論が可能であることを検証する。

ABSTRACT

Despite the recent successes of probabilistic programming languages (PPLs) in AI applications, PPLs offer only limited support for random variables whose distributions combine discrete and continuous elements. We develop the notion of measure-theoretic Bayesian networks (MTBNs) and use it to provide more general semantics for PPLs with arbitrarily many random variables defined over arbitrary measure spaces. We develop two new general sampling algorithms that are provably correct under the MTBN framework: the lexicographic likelihood weighting (LLW) for general MTBNs and the lexicographic particle filter (LPF), a specialized algorithm for state-space models. We further integrate MTBNs into a widely used PPL system, BLOG, and verify the effectiveness of the new inference algorithms through representative examples.

研究の動機と目的

• 離散的および連続的分布を併せ持つ確率的変数を扱うための、確率的プログラミング言語（PPL）における形式的意味論の欠如に対処すること。
• 任意の測度空間、特に非可算な親集合やオープン・ユニバース意味論を含む、一般化された意味論的基盤を構築すること。
• ハイブリッド分布における離散的確率質量と連続的確率密度の区別を正しく行う推論アルゴリズムを設計すること。
• 新規の意味論とアルゴリズムを広く使われているPPL、BLOGに統合し、実世界のモデルにおけるその有効性を評価すること。

提案手法

• 任意の測度空間と混合分布をサポートする一般化されたベイジアンネットワークとして、測度論的ベイジアンネットワーク（MTBN）を導入する。
• 入力空間上での一意な確率測度を表す形式的な測度論的意味論を定義する。
• 離散的質量と連続的密度を辞書的順序で処理することで、正しく対応できるサンプリングアルゴリズムである順序付き尤度重み付け（LLW）を開発する。
• 状態空間モデルに特化したアルゴリズムとして、混合分布下でも正しさを保つ順序付きパーティクルフィルタ（LPF）を設計する。
• BLOG PPLにMTBNおよび新しい推論アルゴリズムを実装し、混合分布をサポートするように構文と型システムを拡張する。
• 証明可能な正しさを保つように、証拠および条件付き分布における離散的・連続的成分の区別を尊重する、修正済みBLOGコンパイラを用いて正しい推論コードを生成する。

実験結果

リサーチクエスチョン

• RQ1 確率的プログラミング言語は、離散的および連続的分布を併せ持つ確率的変数を正式に拡張できるか？
• RQ2 離散的質量と連続的密度を組み合わせた確率的モデルにおいて、一貫性と正しさを保証する意味論的基盤は何か？
• RQ3 離散的確率質量と連続的確率密度の区別を証明的に正しく処理できる推論アルゴリズムを設計できるか？
• RQ4 標準的手法がハイブリッド分布の取り扱いを誤っているために失敗する実用的モデルにおいて、新しいアルゴリズムの性能はいかがなものか？
• RQ5 拡張された意味論と推論アルゴリズムは、ハイブリッドセンサーやしきい値測定を含む実世界の応用における推論をどの程度向上できるか？

主な発見

• GPAモデルにおいて、LLWはGPAが4.0の学生が米国出身であることを正しく推論するが、標準的な尤度重み付けでは密度と質量の混同によりインドを好む誤った結果に収束する。
• ノイズのついたスケールモデルでは、LLWはスケールが釣り合っている場合に偽のコインが存在しないという正しい事後分布を一貫して返すが、ナイーブな尤度重み付けはノイズパラメータσに依存して誤った結果に収束する。
• 追跡モデルにおいて、LPFは正確な半径測定値を「範囲外である」と正しく解釈することで、真の航空機位置を正確に予測する。一方、ナイーブなパーティクルフィルタは正しい事後分布に収束しない。
• 予測された航空機位置と真の位置との間の平均二乗誤差は、LPFの方がナイーブなパーティクルフィルタよりも顕著に低く、粒子数が増加するにつれてLPFは真の値に収束する。
• BLOGにおける実装により、元のBLOG意味論では表現できなかった、正確な距離を出力するレーダーのような切断されたセンサをモデル化できるようになった。
• 結果として、標準的なPPL推論アルゴリズムは離散的・連続的混合分布に適用した場合に誤った結果を生じるが、提案されたアルゴリズムはMTBNフレームワーク下で証明可能な正しさを持つことが示された。