[論文レビュー] Probabilistic Programming Concepts

Luc De Raedt, Angelika Kimmig|arXiv (Cornell University)|Dec 16, 2013

Bayesian Modeling and Causal Inference参考文献 39被引用数 7

ひとこと要約

この論文は、確率的論理プログラミング言語における根幹の確率的プログラミング概念——たとえば確率的変数、否定、時間、連続分布——を同定し、実行メカニズムを分析し、推論手法にマッピングする。ProbLog や PRISM、ICL といった最先端の言語を統一的な枠組みで比較可能にするもので、異なるプリミティブが同じ概念をどのように実現しているか、および推論手法が言語の能力と制限をどのように規定するかを明らかにする。

ABSTRACT

A multitude of different probabilistic programming languages exists today, all extending a traditional programming language with primitives to support modeling of complex, structured probability distributions. Each of these languages employs its own probabilistic primitives, and comes with a particular syntax, semantics and inference procedure. This makes it hard to understand the underlying programming concepts and appreciate the differences between the different languages. To obtain a better understanding of probabilistic programming, we identify a number of core programming concepts underlying the primitives used by various probabilistic languages, discuss the execution mechanisms that they require and use these to position state-of-the-art probabilistic languages and their implementation. While doing so, we focus on probabilistic extensions of logic programming languages such as Prolog, which have been developed since more than 20 years.

研究の動機と目的

• 確率的プログラミング言語の複雑さと多様性が増す中で、それらの背後にある類似点と相違点を理解することが難しくなっていることに対処する。
• 言語の多様性を越えて、構文的差異ではなく意味論的および計算的原則に基づく、根幹の確率的プログラミング概念のセットを同定し、形式化すること。
• 各概念に必要な実行メカニズムと推論手順を分析し、既存のシステムを体系的に比較可能にする。
• 主な確率的論理プログラミング言語（例：ProbLog, PRISM, ICL）およびその実装を、これらの概念と推論手法に沿って位置づける。
• 概念、プリミティブ、推論メカニズムを統合した包括的かつ最新のサーベイを提供し、古くなりすぎたり不完全な先行サーベイが残した空白を埋める。

提案手法

• 離散的および連続的確率的変数、失敗による否定、時間的ダイナミクス、メタコール、一般化ラベルといった根幹の確率的プログラミング概念を同定する。
• 推論メカニズムを正確な手法と近似手法、前向き推論と後向き推論、サンプリングベースの手法に分類し、それらが各概念とどのように整合するかを分析する。
• 確率的論理プログラミング言語を統一的に扱う基盤として、Sato (1995) の分布意味論を採用する。ここでは確率的変数が基礎的事実に対応し、論理プログラムが条件付き依存関係を定義する。
• 構文的プリミティブ（例：注釈付き選言、スイッチ、柔軟確率）をその背後にある概念にマッピングし、異なる言語が同じ概念をどのように異なる形で実装しているかを示す。
• 実装（例：ProbLog1/2, PRISM, cplint, AILog2）を、各概念および推論手法のサポート度に基づいて評価し、実行メカニズムを統一的なレンズとして用いる。
• 確率的メモ化と証明探索が、とくに後向き推論と正確な推論において効率的な推論を可能にする役割を議論する。

実験結果

リサーチクエスチョン

• RQ1 多様な確率的プログラミング言語の背後にある根本的な確率的プログラミング概念は何か。それらは異なるシステム間でどのように関係しているか。
• RQ2 正確な手法対近似手法、前向き対後向き、サンプリング対列挙といった異なる推論手法は、根幹の確率的プログラミング概念の実装をどのように支援または制限するか。
• RQ3 なぜ分布意味論が確率的論理プログラミング言語を統一するのに適した基盤となるのか。また、統計的関係的学習における知識ベースのモデル構築とはどのように異なるか。
• RQ4 正確な推論における前向き推論の制限とは何か。なぜ後向き推論が実践的により広く採用されているのか。
• RQ5 サンプリングベースの推論手法、特に後向きサンプリングは、連続分布や一般化ラベルといった複雑な概念をどのようにサポートするか。

主な発見

• 分布意味論は、確率的変数が基礎的事実に対応し、論理プログラムが条件付き依存関係を定義するという点で、確率的論理プログラミングの統一的基盤を提供する。
• 後向き推論を用いた正確な推論は、ProbLog1、cplint、PITA、AILog2 などのシステムで最も広くサポートされており、効率化のための確率的メモ化を併用することが一般的である。
• 前向きサンプリングは理論的には可能だが、調査されたすべてのシステムで実装されていない。一方、後向きサンプリングは一般化ラベルを除き、すべての概念をサポートする。
• 連続分布は、可算でない値を扱う必要があるため、正確な推論では実用的にサポートされていないが、サンプリングベースのアプローチでのみ実現可能である。
• 柔軟確率と失敗による否定は大多数のシステムでサポートされており、一般化ラベルやハイブリッドモデル（例：Hybrid ProbLog）といった高度な機能は、ProbLog1 と cplint で利用可能である。
• 推論手法の選択が、どのプログラミング概念を効果的にサポートできるかを直接決定する。後向きサンプリングは、最も柔軟かつ汎用的なアプローチである。