[论文解读] On the Foundations of Universal Sequence Prediction

Marcus Hütter|ArXiv.org|May 3, 2006

Computability, Logic, AI Algorithms参考文献 12被引用 5

一句话总结

本文将索洛蒙off的通用序列预测确立为贝叶斯序列预测的基础性解决方案，利用算法复杂度定义一个支配所有其他先验的通用先验。它表明，该通用先验避免了经典贝叶斯方法的关键哲学与技术问题——如普遍假设的后验概率为零、重参数化敏感性以及旧证据问题——同时在不可计算环境中仍能确保强收敛性和优异性能。

ABSTRACT

Solomonoff completed the Bayesian framework by providing a rigorous, unique, formal, and universal choice for the model class and the prior. We discuss in breadth how and in which sense universal (non-i.i.d.) sequence prediction solves various (philosophical) problems of traditional Bayesian sequence prediction. We show that Solomonoff's model possesses many desirable properties: Fast convergence and strong bounds, and in contrast to most classical continuous prior densities has no zero p(oste)rior problem, i.e. can confirm universal hypotheses, is reparametrization and regrouping invariant, and avoids the old-evidence and updating problem. It even performs well (actually better) in non-computable environments.

研究动机与目标

• 解决贝叶斯序列预测中的基础性问题，包括模型类与先验的选择。
• 解决诸如旧证据悖论、普遍假设的确认以及重参数化不变性等哲学问题。
• 证明索洛蒙off的通用先验在可计算与不可计算环境中均优于经典连续先验。
• 表明通用混合模型 M 实现强收敛界并避免零后验问题。
• 提供一个形式化框架，使通用预测在最小最大意义下既一致又最优。

提出的方法

• 使用柯尔莫哥洛夫复杂度 K(ν) 定义所有可计算环境 ν 的通用先验 wν^U = 2^(-K(ν))。
• 将通用混合模型 M(x) 定义为所有 ν 的 wν^U × ν(x) 之和，表示通用图灵机在随机输入下输出 x 的概率。
• 将通用先验应用于包含所有可计算测度的模型类 M_U，以确保通用性。
• 使用相对熵 D_n(μ||M) 限制预测误差，证明 D_n(μ||M) ≤ K(μ)ln2（对于可计算 μ）。
• 利用不等式 M(x) ≥ 2^(-K(ξ))ξ(x) 证明 M 支配任意可计算混合 ξ。
• 引入条件复杂度 K(ν|y) 将先验知识 y 纳入通用先验，从而减少对 U 的依赖。

实验结果

研究问题

• RQ1 如何形式化且唯一地定义一个通用先验，以解决经典贝叶斯模型选择中的模糊性？
• RQ2 索洛蒙off的通用先验在何种方式下避免了普遍假设的零后验问题？
• RQ3 与经典连续先验相比，通用先验如何确保重参数化与数据重组的不变性？
• RQ4 在经典方法失效的不可计算环境中，通用序列预测能否维持强性能？
• RQ5 算法复杂度在实现最小最大最优预测界中起什么作用？

主要发现

• 索洛蒙off的通用先验 wν^U = 2^(-K(ν)) 确保所有普遍假设的后验概率非零，从而解决了确认问题。
• 通用混合模型 M(x) 支配所有可计算混合 ξ(x)，满足 M(x) ≥ 2^(-K(ξ))ξ(x)，这意味着其性能更优或至少相等。
• 对于任意可计算环境 μ，相对熵 D_n(μ||M) 的上界为 K(μ)ln2，这是一个与 n 无关的有限常数，而经典方法的上界会随 n 对数增长。
• 通用先验在数据重参数化与重组下保持不变，避免了连续先验的关键缺陷。
• 由于 M 从一开始就为所有可计算假设分配非零概率，因此避免了旧证据与更新问题。
• 即使在不可计算环境中，M 的性能也至少与任何可计算混合 ξ 相当，这是由于支配关系及对有限 K(ξ) 的依赖。