[论文解读] Algorithmic information theory and martingales

Laurent Bienvenu, Alexander Shen|ArXiv.org|Jun 15, 2009

Computability, Logic, AI Algorithms参考文献 1被引用 4

一句话总结

本文通过展示马丁-洛夫随机性可借助赌徒投注策略表征，将算法信息论与鞅理论统一起来，将算法复杂度与概率论联系起来。核心贡献是基于柯尔莫哥洛夫复杂度和通用半可计算测度提出了一种通用随机性检验，证明了具有最小算法结构的正规序列——即无冗余结构的序列——通过所有可计算的统计检验。

ABSTRACT

The notion of an individual random sequence goes back to von Mises. We describe the evolution of this notion, especially the use of martingales (suggested by Ville), and the development of algorithmic information theory in 1960s and 1970s (Solomonov, Kolmogorov, Martin-Lof, Levin, Chaitin, Schnorr and others). We conclude with some remarks about the use of the algorithmic information theory in the foundations of probability theory.

研究动机与目标

• 使用算法信息论形式化个体随机性的直观概念。
• 调和一个悖论：即规则序列（例如连续100次出现正面）虽然概率很低，但直观上并非随机。
• 基于鞅和柯尔莫哥洛夫复杂度，建立一个通用的随机性框架。
• 证明正规序列——即具有最小算法结构的序列——通过所有可计算的统计检验。
• 证明通用半可计算测度与算法复杂度构成随机性最小且最优的检验。

提出的方法

• 使用鞅作为投注策略来定义随机性：若不存在可计算的鞅能在该序列上获利，则该序列是随机的。
• 应用柯尔莫哥洛夫复杂度 $KM(x)$ 来定义算法随机性，其中 $\overline{KM}(x)$ 是满足通用检验的最小半可计算函数。
• 通过正规性缺陷 $\overline{KM}(x) - \overline{KM}_\alpha(x)$ 引入正规序列的概念，其中 $\alpha$ 是一个不可计算的预言机。
• 依赖通用半可计算半测度（先验概率）来定义通用随机性检验。
• 使用相对化复杂度 $\overline{KM}_\alpha(x)$ 分析从正规序列经算法生成的序列。
• 证明所有正规序列在结构上是算法等价的，且可通过有效过程相互转换。

实验结果

研究问题

• RQ1 能否使用鞅来定义算法随机性的通用检验？
• RQ2 算法复杂度如何与具有规律性的序列的直观随机性感知相关联？
• RQ3 通用半可计算测度在刻画所有可计算概率分布下的随机性方面起什么作用？
• RQ4 所有正规序列是否都能通过有效算法相互转换，这对其结构等价性意味着什么？
• RQ5 序列的正规性缺陷在多大程度上反映其算法复杂度和物理可观测性？

主要发现

• 当且仅当不存在可计算的鞅能在其上获利时，序列才是马丁-洛夫随机的，这直接建立了投注策略与算法随机性之间的联系。
• $\overline{KM}(x)$，即最小半可计算函数，提供了随机性的最优通用检验，无法再进一步改进。
• 正规序列——其正规性缺陷受其物理描述复杂度限制的序列——满足所有可计算的统计检验。
• 由正规序列经算法生成的任一序列本身也是正规的，表明正规性在有效变换下具有鲁棒性。
• 任何满足通用可计算 $P$-检验的正规序列，也通过所有使用固定预言机 $\alpha$ 可计算的检验，表明正规性条件具有普遍性。
• 所有正规序列具有同构的算法结构：任一正规序列都可有效转换为相对于均匀测度随机的序列。