[論文レビュー] Deriving Probability Density Functions from Probabilistic Functional Programs

Sooraj Bhat, Johannes Borgström+2 more|arXiv (Cornell University)|Apr 4, 2017

Bayesian Modeling and Causal Inference被引用数 6

ひとこと要約

本稿では、確率的関数型プログラムから確率密度関数（PDF）を自動で導出できる健全な密度コンパイラを提案する。離散的および連続的分布に加え、失敗をサポートする。関数型言語に統合プリミティブを拡張し、型安全性および正しさを証明することで、MCMC などの手法による効率的な推論を可能にし、科学的モデリング応用における手動での導出作業を顕著に削減する。

ABSTRACT

The probability density function of a probability distribution is a fundamental concept in probability theory and a key ingredient in various widely used machine learning methods. However, the necessary framework for compiling probabilistic functional programs to density functions has only recently been developed. In this work, we present a density compiler for a probabilistic language with failure and both discrete and continuous distributions, and provide a proof of its soundness. The compiler greatly reduces the development effort of domain experts, which we demonstrate by solving inference problems from various scientific applications, such as modelling the global carbon cycle, using a standard Markov chain Monte Carlo framework.

研究の動機と目的

• 統計的推論における確率密度関数（PDF）の必要性と、確率的関数型プログラミングの間のギャップを埋めること。
• 連続的および離散的分布を備えた包括的な言語において、確率的プログラムから PDF へのコンパイルプロセスを形式的に定義し、正しさを証明すること。
• ドメインエキスパートがモデルを記述的に指定でき、MCMC や最尤推定などの推論手法で使用可能な PDF を自動的に得られるようにすること。
• 失敗や複雑な制御構造を確率的プログラムで扱いながら、導出された PDF が数学的に健全なままであることを保証すること。

提案手法

• 関数を積分するための新しい統合構文 ∫tλ(x₁,…,xn).E を確率的関数型言語に拡張し、積分を積分型の上に定義することで、PDF の計算を可能にする。
• PDF 式の整合性を保証する統合の型ルールを備えた、ターゲット言語 ∫un の型システムを定義する。
• プログラムを解釈し、PDF 値を実数として計算するために、恒等モナドを用いた意味論を定義する。
• 型システムの主要な性質である代入、弱化、強化を証明し、コンパイルプロセスの型安全性を保証する。
• コンパイラを標準的な MCMC パイプラインに統合し、実世界の科学的モデルにおけるエンドツーエンドの推論を実証する。
• プログラム構文から PDF を計算するために、記号的および数値的統合を用い、複雑な制御構造下でも正しさを保持する。

実験結果

リサーチクエスチョン

• RQ1 連続的および離散的分布を備えた確率的関数型プログラムを、体系的かつ PDF にコンパイルすることは可能か？
• RQ2 失敗や複雑な制御構造を含む確率的プログラムにおいて、導出された PDF の正しさをどのように保てるか？
• RQ3 混合離散的・連続的分布を伴う密度コンパイラの健全性について、どのような形式的保証を提供できるか？
• RQ4 自動 PDF 導出は、科学的モデリング応用における開発負荷をどの程度軽減できるか？

主な発見

• 密度コンパイラは、失敗、離散的、連続的分布を含む広範な確率的プログラムの PDF を正しく導出できる。
• 形式的な型システムと意味論により、コンパイルされた PDF が数学的に健全かつ型正しいことが保証される。
• MCMC 推論フレームワークへのシームレスな統合が可能であり、グローバル炭素循環モデルを用いた実証でその有効性が示された。
• 条件分岐やネストされた束縛といった非自明なプログラム構造をサポートし、記号的および数値的統合により PDF が導出される。
• 科学的応用において手動での導出作業が著しく削減され、ドメインエキスパートがモデリングに集中できるようになる。