[論文レビュー] A convenient category for higher-order probability theory

Chris Heunen, Ohad Kammar+2 more|arXiv (Cornell University)|Jun 20, 2017

Logic, Reasoning, and Knowledge参考文献 28被引用数 63

ひとこと要約

この論文は、可測空間の代わりに高階関数、連続的分布、等式的推論をサポートする、カルテジアン閉カテゴリである準ボレル空間を、高階確率論の新しい基盤として導入する。準ボレル空間により、確率的関数のより洗練された定式化が可能になり、デ・フィネッティの定理の一般化も達成される。

ABSTRACT

Higher-order probabilistic programming languages allow programmers to write sophisticated models in machine learning and statistics in a succinct and structured way, but step outside the standard measure-theoretic formalization of probability theory. Programs may use both higher-order functions and continuous distributions, or even define a probability distribution on functions. But standard probability theory does not handle higher-order functions well: the category of measurable spaces is not cartesian closed. Here we introduce quasi-Borel spaces. We show that these spaces: form a new formalization of probability theory replacing measurable spaces; form a cartesian closed category and so support higher-order functions; form a well-pointed category and so support good proof principles for equational reasoning; and support continuous probability distributions. We demonstrate the use of quasi-Borel spaces for higher-order functions and probability by: showing that a well-known construction of probability theory involving random functions gains a cleaner expression; and generalizing de Finetti's theorem, that is a crucial theorem in probability theory, to quasi-Borel spaces.

研究の動機と目的

• 標準的な測度論的確率論が高階関数や連続的分布を扱う際の限界を解消すること。
• 高階プログラミング構文をサポートする、圏論的基盤を確立すること。
• 等式的推論を可能にし、確率的関数を洗練された形で表現できる形式的体系を提供すること。
• デ・フィネッティの定理のような基礎的定理を高階設定に一般化すること。
• 現代の確率的プログラミングに適した、可測空間のより適切な代替カテゴリに置き換えること。

提案手法

• 可測空間を一般化しつつ望ましい圏論的性質を保ち、新しいタイプの空間として準ボレル空間を導入すること。
• 準ボレル空間の圏がカルテジアン閉であることを示し、高階関数の利用を可能にすること。
• 準ボレル空間の圏が十分に点付けられていることを確立し、確率的プログラムにおける健全な等式的推論原理を支持すること。
• 準ボレルフレームワーク内での連続的確率分布の自然な定義と操作を確立し、標準的な確率的構成と整合性を持つこと。
• 古典的な確率的関数の構成を、より自然な形で再定式化するためのフレームワークの応用。
• デ・フィネッティの定理を準ボレル設定に一般化し、高階確率的モデルへの適用範囲を拡大すること。

実験結果

リサーチクエスチョン

• RQ1 高階関数と連続的分布をサポートする、圏論的基盤を有する確率論を構築できるか？
• RQ2 確率論に適したカルテジアン閉カテゴリをどのように構成できるか？
• RQ3 高階確率的設定において、等式的推論原理を健全に適用できるか？
• RQ4 デ・フィネッティの定理のような古典的定理を、この新しい枠組みに一般化できるか？
• RQ5 標準的な測度論に比べて、この新形式が確率的関数の表現をより洗練された形で可能にするか？

主な発見

• 準ボレル空間はカルテジアン閉な圏を形成し、確率的モデルにおける高階関数の利用を可能にする。
• 準ボレル空間の圏は十分に点付けられており、確率的プログラムにおける堅牢な等式的推論をサポートする。
• 連続的確率分布は、準ボレルフレームワーク内で自然に定義・操作可能である。
• 古典的な確率的関数の構成が、準ボレル形式においてより簡潔で自然な表現を持つようになる。
• デ・フィネッティの定理は準ボレル空間へ一般化され、高階確率的設定への有効性が拡張される。
• このフレームワークは可測空間の有効な代替手段を提供し、高階確率論における主要な限界を解消する。