[論文レビュー] Conditional probabilities and van Lambalgen theorem revisited

Bruno Bauwens, Alexander Shen+1 more|arXiv (Cornell University)|Jul 14, 2016

Computability, Logic, AI Algorithms参考文献 10被引用数 7

ひとこと要約

この論文は、連続確率空間における条件付き確率のアルゴリズム的定義を調査し、Martin-Löf確率的系列における条件付き分布の存在および計算可能性に注目している。計算可能測度に対しては、確率的系列の前缀に沿った条件付き確率の極限が、well-definedな測度に収束することを確立し、van Lambalgenの定理を非計算可能条件付き分布や一様ランダム性テストを含むアルゴリズム的ランダムネスの文脈に一般化する。

ABSTRACT

The definition of conditional probability in case of continuous distributions was an important step in the development of mathematical theory of probabilities. How can we define this notion in algorithmic probability theory? In this survey we discuss the developments in this direction trying to explain what are the difficulties and what can be done to avoid them. Almost all the results discussed in this paper have been published (and we provide the references), but we tried to put them into perspective and to explain the proofs in a more intuitive way. We assume that the reader is familiar with basic notions of measure theory and algorithmic randomness.

研究の動機と目的

• 連続分布におけるアルゴリズム的確率理論における条件付き確率の定義を形式化すること。
• 条件付き変数がMartin-Löf確率的である場合の条件付き分布の存在および計算可能性を分析すること。
• 非計算可能測度および一様ランダムネステストを含む文脈に、van Lambalgenの定理を拡張すること。
• 条件付き確率が存在するが、計算可能であるjoint分布に対しても非計算可能であるような状況を調査すること。
• 技術的課題とその解決法に重点を置き、アルゴリズム的ランダムネスの文脈で既知の結果の直感的説明と証明を提供すること。

提案手法

• ランダム系列の縮小する前缀に沿った条件付き確率の極限を用いて、第二成分における条件付き測度を定義する。
• Martin-Löf確率的系列における条件付き確率比の収束を示すために、有効なmartingale収束定理を適用する。
• 結合測度の下位半再帰的テスト関数を構築し、トリミングと正規化を用いて、周辺測度と条件付きテストを関連付ける。
• 両方の系列とパラメータに依存する一般化された一様ランダムネステストを導入し、パラメータ化された測度への拡張を可能にする。
• 古典的類似物として、Radon–Nikodym微分とLebesgue微分定理を用いて、アルゴリズム的極限定義の正当化を行う。
• 非下位半再帰的分母に対しても、テストの性質を保ちながら積分を有界にするために、テスト関数に対するトリミング操作を導入する。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズム的確率理論において、確率的系列の前缀に沿った条件付き確率の極限が存在する条件は何か？
• RQ2 結合測度が計算可能であっても、条件付き分布が非計算可能であることはあり得るか？
• RQ3 アルゴリズム的ランダムネスにおいて、非計算可能またはパラメータ化された測度に、van Lambalgenの定理をどのように一般化できるか？
• RQ4 Martin-Löfランダムネスは、条件付き確率の極限の収束を保証するために果たす役割は何か？
• RQ5 パラメータに依存する測度に対して、一様ランダムネステストを定義可能か？ また、それらは結合的・条件付きランダムネスとどのように関係するか？

主な発見

• 任意の2つのCantor空間の積上の計算可能測度に対して、第一成分におけるMartin-Löf確率的系列の前缀に沿った条件付き確率の極限は存在し、第二成分におけるwell-behavedな測度を定義する。
• 計算可能結合測度であっても、条件付き分布が非計算可能な例が存在する。 これは、条件付き系列がMartin-Löf確率的であっても同様である。
• 条件付き確率の極限は、Lebesgue微分定理によって正当化されるように、ほとんど everywhere で古典的条件付き測度に一致する。
• 一般化されたvan Lambalgenの定理は、一様ランダムネステストにおいて成り立ち、結合的ランダムネスの欠陥が周辺と条件付き成分に分解され、O(1)の誤差項を伴う。
• 非下位半再帰的比に対処するため、条件付き測度の有界テスト関数の構築にはトリミングが必要であり、これによりテストの有効性が保たれる。
• 結合測度が連続であれば、条件付き測度は条件付き系列に関して連続であるが、一般にはこの性質は成り立たない。