[論文レビュー] A Domain-Theoretic Approach to Statistical Programming Languages

Jean Goubault-Larrecq, Xiaodong Jia+1 more|arXiv (Cornell University)|Jun 30, 2021

Computability, Logic, AI Algorithms被引用数 6

ひとこと要約

本稿では、正確な実数のdcpo上の最小値割り当てを用いた、統計プログラミング言語の単純なドメイン理論的意味論を提示する。これにより、連続分布、ソフト制約、完全な再帰をサポートする可換モノイドが可能になる。主な貢献は、非コンパクトで非連続な測度を含むすべての実数値測度が、正確な実数のドメイン上の最小値割り当てによってモデル化可能であることを証明することであり、独立した確率的抽出の再順序付けといったプログラム変換の正しさを保証する。

ABSTRACT

We give a domain-theoretic semantics to a statistical programming language, using the plain old category of dcpos, in contrast to some more sophisticated recent proposals. Remarkably, our monad of minimal valuations is commutative, which allows for program transformations that permute the order of independent random draws, as one would expect. A similar property is not known for Jones and Plotkin' s monad of continuous valuations. Instead of working with true real numbers, we work with exact real arithmetic, providing a bridge towards possible implementations. (Implementations by themselves are not addressed here.) Rather remarkably, we show that restricting ourselves to minimal valuations does not restrict us much: all measures on the real line can be modeled by minimal valuations on the domain $\mathbf{I}\mathbb{R}_\bot$ of exact real arithmetic. We give three operational semantics for our language, and we show that they are all adequate with respect to the denotational semantics. We also explore quite a few examples in order to demonstrate that our semantics computes exactly as one would expect, and in order to debunk the myth that a semantics based on continuous maps would not be expressive enough to encode measures with non-compact support using only measures with compact support, or to encode measures via non-continuous density functions, for instance. Our examples also include some useful, non-trivial cases of distributions on higher-order objects.

研究の動機と目的

• 準拡張的カテゴリ理論的構成（例：準ボレル空間）を避ける、統計プログラミング言語の単純で純粋なドメイン理論的意味論の構築を目的とする。
• 実数直線上のすべてのボレル測度（非コンパクトな台や非連続密度関数を含むものも）が、正確な実数のドメイン上の最小値割り当てによってモデル化可能であることを示すこと。
• dcposの圏上での最小値割り当ての可換モノイドを確立し、独立した確率的抽出の再順序付けといった正しいプログラム変換を可能にすること。
• 評価、還元、継続渡しスタイルに基づく操作的意味論が、正確な実数算術の実装可能な表現とドメイン理論的意味論の間のギャップを埋めること。
• 評価、還元、継続渡しスタイルに基づく操作的意味論が、適切な仮定のもとで、意味論的意味論と整合的であることを示すこと。

提案手法

• 正確な実数を表すための区間近似のdcpo $\mathbf{I}\mathbb{R}_{\bot}$ を用い、ドメイン理論的意味論と整合性を持つようにする。
• $\mathbf{Dcpo}$ 上での最小値割り当てのモノイドを定義し、これが可換であることが示され、フビニ＝トネリ型の推論や独立した確率的抽出の正しい再順序付けを可能にする。
• 最小値割り当てを用いて連続分布とソフト制約（$\mathtt{score}$ を通じて）をモデル化し、これは非有界で非コンパクト集合上での積分をサポートする。
• 評価ベース、還元ベース、継続渡しスタイルの3つの操作的意味論を構築し、それぞれが適切な仮定のもとで意味論的意味論と整合的であることを証明する。
• JiaとMisloveによる $K$-完備化と点連続値割り当てを活用し、dcpos上でのモノイドが可換かつ良好に振る舞うことを保証する。
• 高階の分布や非自明な測度（非連続密度関数をもつものも含む）のモデル化を通じて、表現力の高さを示す。

実験結果

リサーチクエスチョン

• RQ1 最小値割り当てに基づく純粋なドメイン理論的意味論は、非コンパクトな台を持つものも含む $\mathbb{R}$ 上のすべてのボレル測度をモデル化可能か？
• RQ2 $\mathbf{Dcpo}$ 上での最小値割り当てのモノイドは可換か？ これにより、プログラム内での独立した確率的抽出の再順序付けが正しく保たれるか？
• RQ3 正確な実数算術（区間近似によるもの）は、統計プログラミングのドメイン理論的意味論に自然に統合可能か？ また、完全な再帰と連続分布をサポートするか？
• RQ4 評価、還元、継続渡しスタイルの複数の操作的意味論は、標準的な仮定のもとで意味論的意味論と一致するか？
• RQ5 非連続密度関数や複雑な高階の分布は、最小値割り当てを用いて意味的に捉えられるか？

主な発見

• $\mathbb{R}$ 上のすべてのボレル測度（ルベーグ測度や非コンパクトな台をもつものも含む）が、$\mathbf{I}\mathbb{R}_{\bot}$ 上の最小値割り当てとして表現可能である。最小値割り当ては連続値割り当ての真の部分集合であるが、それでもすべての測度をカバー可能である。
• $\mathbf{Dcpo}$ 上での最小値割り当てのモノイドは可換である。これにより、独立した確率的抽出の再順序付けといったプログラム変換が正しく保たれ、意味論が保存される。
• 評価ベース、還元ベース、継続渡しスタイルの3つの操作的意味論は、定数に関する自然な仮定のもとで、すべて意味論的意味論と整合的で、妥当かつ十分である。
• 区間近似による正確な実数算術（$\mathbf{I}\mathbb{R}_{\bot}$ を通じて）の使用は、実装への自然な橋渡しを提供し、連続分布やソフト制約の完全な表現力を維持する。
• 非自明な高階の分布や非連続密度関数をもつ測度も、意味論的に正しくモデル化可能であり、ドメイン理論における連続写像が表現力に欠けるという神話に反する。
• $K$-完備化と点連続性による最小値割り当ての構成により、モノイドが可換であることが保証され、従来のドメイン理論的アプローチにおける主要な課題が解決される。