[論文レビュー] Church: a language for generative models

Noah D. Goodman, Vikash K. Mansinghka+3 more|arXiv (Cornell University)|Jun 13, 2012

Bayesian Modeling and Causal Inference参考文献 21被引用数 507

ひとこと要約

ChurchはLispに基づく確率的プログラミング言語であり、確率的ラムダ計算を用いて複雑な生成モデルを指定可能である。非パrametricモデルの簡素化を図るための確率的メモ化機構を導入し、モンテカルロ法による正確かつ近似推論をサポートすることで、クラスタリング、計画、階層的モデリングを含む多様なAI応用分野における柔軟でスケーラブルなベイズ推論を実現する。

ABSTRACT

We introduce Church, a universal language for describing stochastic generative processes. Church is based on the Lisp model of lambda calculus, containing a pure Lisp as its deterministic subset. The semantics of Church is defined in terms of evaluation histories and conditional distributions on such histories. Church also includes a novel language construct, the stochastic memoizer, which enables simple description of many complex non-parametric models. We illustrate language features through several examples, including: a generalized Bayes net in which parameters cluster over trials, infinite PCFGs, planning by inference, and various non-parametric clustering models. Finally, we show how to implement query on any Church program, exactly and approximately, using Monte Carlo techniques.

研究の動機と目的

• 原理的かつ合成的な方法で、確率的生成プロセスを記述するための包括的言語を設計すること。
• Lispベースの構文と意味論を通じて、確率的推論を関数型プログラミングと統合すること。
• 無限混合モデルやクラスタリングのような非パrametricベイズモデルの簡潔なモデリングを可能にすること。
• 実用的な展開を可能にするために、モンテカルロ技法による正確および近似推論をサポートすること。
• 評価履歴と条件付き分布に基づく形式的意味論を提供し、モデルの解釈を的確に行えるようにすること。

提案手法

• ChurchはLispに確率的プリミティブを拡張し、関数的式の中に確率的選択を埋め込めるようにする。
• 評価履歴とそれらの履歴上の条件付き分布を用いて、確率的計算をモデル化するための意味論を定義する。
• 非パラメトリック分布の効率的モデリングを可能にするために、確率的メモ化機構をコア言語構造として導入する。
• 高階関数とクロージャをサポートすることで、複雑な確率的プロセスの再帰的およびパrametricモデリングを可能にする。
• Churchプログラムに対するクエリに応じて、マルコフ連鎖モンテカルロ（MCMC）および他のモンテカルロ技法を用いて推論を実装する。
• 列挙による正確な推論と、サンプリングによる近似推論の両方をサポートし、新たな推論アルゴリズムへの拡張性を備える。

実験結果

リサーチクエスチョン

• RQ1 一般用途のプログラミング言語に一等級の確率的プリミティブを拡張することで、任意の生成プロセスをモデル化する方法は何か？
• RQ2 関数型言語における的確で合成可能な確率的推論を支える形式的意味論は何か？
• RQ3 無限混合モデルのような非パラメトリックモデルを、簡潔かつ効率的に表現する方法は何か？
• RQ4 1つの言語と推論フレームワークで、計画や階層的モデリングを含む多様な確率的モデリングタスクを統合できるか？
• RQ5 複雑で再帰的な確率的プログラムにおいて、スケーラブルかつ拡張可能な推論を実現するメカニズムは何か？

主な発見

• Churchは、無限PCFGやクラスタリングモデルを含む複雑な非パラメトリックモデルを、最小限の構文的オーバーヘッドで指定可能である。
• 確率的メモ化機構により、共有される確率的変数や無限次元分布を自然かつ効率的にエンコードできる。
• モンテカルロ法を用いることで、正確かつ近似推論の両方が可能となり、大規模または複雑なモデルに対してもスケーラブルな解決策が得られる。
• Churchの意味論は、評価履歴と条件付き分布に基づいて形式的に根拠づけられており、確率的プログラムの的確な解釈を保証する。
• 階層ベイズネットワークをパrameterのクラスタリングを伴ってモデリングでき、構造的不確実性のモデリングにおける柔軟性を実証した。
• 関数型プログラミングと確率的推論の統合により、多様なAI応用分野において表現力が高く、モジュール化され、再利用可能な確率的モデルが実現できる。