[論文レビュー] An Application of Computable Distributions to the Semantics of Probabilistic Programs

Daniel Huang, Greg Morrisett+1 more|arXiv (Cornell University)|Jun 20, 2018

Computability, Logic, AI Algorithms参考文献 44被引用数 5

ひとこと要約

この論文は、計算可能分布と位相的ドメインを用いて、連続的分布を備えた確率的プログラムのための Type-2 実行可能意味論を提案する。Haskellに類似した言語でサンプリングと分布的意味論の実装を示し、条件付き確率が一般に実行可能でないことを示し、実現可能性と構成的数学と接続する。

ABSTRACT

In this chapter, we explore how (Type-2) computable distributions can be used to give both (algorithmic) sampling and distributional semantics to probabilistic programs with continuous distributions. Towards this end, we sketch an encoding of computable distributions in a fragment of Haskell and show how topological domains can be used to model the resulting PCF-like language. We also examine the implications that a (Type-2) computable semantics has for implementing conditioning. We hope to draw out the connection between an approach based on (Type-2) computability and ordinary programming throughout the chapter as well as highlight the relation with constructive mathematics (via realizability).

研究の動機と目的

• 連続的分布と計算の離散的性質の間の矛盾を解消すること。
• アルゴリズム的サンプリングと計算可能分布を用いた分布的推論を両立する確率的プログラムの意味論を開発すること。
• 実数と連続的分布を含むコアな PCF に類似した言語の意味論を、位相的ドメインを用いてモデル化すること。
• 確率的プログラムにおける条件付き確率の実行可能性を調査し、それが一般に Type-2 実行可能でないことを示すこと。
• 実現可能性を通じて構成的数学と接続し、実用的な関数型言語におけるプログラミングへの関連性を示すこと。

提案手法

• 実数と連続的分布を、離散的近似の収束列として Type-2 実行可能に表現する。
• 実数や分布のブラックボックスプリミティブに依存せずに、Haskellの断片に計算可能分布を符号化する。
• 言語の意味論をモデル化する数学的基盤として位相的ドメインを用い、ドメイン理論的構成をサポートする。
• 可算基底空間上のサンプリングと分布的意味論をサポートする確率的モナドを備えたコア言語 λ_CD を導入する。
• sampToComp および compToSamp のような関数を用いて、サンプリング可能分布と計算可能分布の間の実行可能同型を確立する。
• integrateBndDom および integrateBnd を用いた有効なルベーグ積分により、計算可能分布上の期待値を計算する。

実験結果

リサーチクエスチョン

• RQ1 （Type-2）実行可能分布を用いることで、連続的分布を備えた確率的プログラムにサンプリングと分布的意味論をどのように与えることができるか？
• RQ2 位相的ドメインのような数学的構造は、連続的分布を備えた関数型言語の意味論を忠実にモデル化できるか？
• RQ3 Type-2 実行可能フレームワークにおいて、条件付き確率はどの程度実行可能であり、その制限は何か？
• RQ4 このフレームワークは、確率的プログラミングの文脈で、構成的数学と実現可能性とどのように接続されるか？
• RQ5 チューリング完全な確率的プログラミング言語は、すべての Type-2 実行可能分布を表現できる意味で、完全抽象的かつ普遍的であるか？

主な発見

• 一般に、条件付き確率は（Type-2）実行可能でない。つまり、すべての確率的モデルにおける条件付きクエリがアルゴリズム的に計算可能というわけではない。
• 言語 λ_CD はアルゴリズム的サンプリングと分布的意味論の両方をサポートしており、確率的プログラムにおける等式的推論を可能にする。
• 全測度分布の仮定の下で、サンプリング可能分布と計算可能分布の間には実行可能同型が存在する。
• 位相的ドメインは、計算可能実数と連続的分布の意味論的モデル化に適した数学的基盤を提供する。
• 等価性が等しくない値に対して真を返さないため、Borelのパラドックスを回避する——等価性は、明らかに等しくないことが証明されない限り発散する。
• integrateBndDom および integrateBnd のような関数を用いた有効なルベーグ積分により、計算可能分布上の期待値の計算が実現される。