[论文解读] Convergence and Error Bounds for Universal Prediction of Nonbinary Sequences

Marcus Hütter|ArXiv.org|Jun 15, 2001

Computability, Logic, AI Algorithms参考文献 13被引用 8

一句话总结

本文将索洛蒙off的通用预测框架推广至任意有限非二进制字母表，证明了通用预测器 ξ 在条件均方误差下以及在 μ 下几乎必然收敛于真实分布。该研究建立了通用方案相对于最优知情方案的超额预测误差的 O(√E_μ) 上界，将通用归纳的理论从二进制序列扩展至更广泛场景，提供了严格的误差与收敛性保证。

ABSTRACT

Solomonoff's uncomputable universal prediction scheme $ξ$ allows to predict the next symbol $x_k$ of a sequence $x_1...x_{k-1}$ for any Turing computable, but otherwise unknown, probabilistic environment $μ$. This scheme will be generalized to arbitrary environmental classes, which, among others, allows the construction of computable universal prediction schemes $ξ$. Convergence of $ξ$ to $μ$ in a conditional mean squared sense and with $μ$ probability 1 is proven. It is shown that the average number of prediction errors made by the universal $ξ$ scheme rapidly converges to those made by the best possible informed $μ$ scheme. The schemes, theorems and proofs are given for general finite alphabet, which results in additional complications as compared to the binary case. Several extensions of the presented theory and results are outlined. They include general loss functions and bounds, games of chance, infinite alphabet, partial and delayed prediction, classification, and more active systems.

研究动机与目标

• 将索洛蒙off的通用预测方案 ξ 从二进制推广至任意有限非二进制字母表，解决非二进制环境下带来的额外复杂性。
• 证明通用预测器 ξ 在条件均方误差下以及在 μ-概率 1 下收敛于真实环境分布 μ。
• 推导出通用方案相对于最优知情方案的预测误差数量的有限、非渐近误差界。
• 将理论推广至更广泛的应用场景，包括机会游戏、部分/延迟预测、分类任务以及主动系统。
• 提供一种可计算的通用预测框架，即使在真实分布 μ 未知的情况下，其性能也几乎与最佳可能的知情预测器相当。

提出的方法

• 将通用先验 ξ 定义为候选分布 μ_i ∈ M 的加权和，其中 M 是任意有限或可数的、定义在有限字母表 A 上的概率分布集合。
• 采用贝叶斯框架，使用保持事件顺序的条件概率记号，通过 P(x_{1:k}) / P(x_{<k}) 一致计算 P(x_k | x_{<k})。
• 利用测度论论证和通用先验的性质，证明 ξ 在条件均方误差下以及在 μ 下几乎必然收敛于 μ。
• 推导出超额预测误差的上界：E_ξ - E_μ = O(√E_μ)，其中 E_μ 为最优知情方案所犯错误的数量。
• 通过修改损失函数或条件设定，将框架推广至一般损失函数、机会游戏、无限字母表（通过极限或可分性）、部分/延迟预测。
• 将模型扩展至主动系统，其中动作影响结果，损失函数依赖于动作与结果的联合值，并证明期望收益收敛至最优值。

实验结果

研究问题

• RQ1 如何将索洛蒙off的通用预测方案推广至任意有限非二进制字母表？相较于二进制情形，会面临哪些新挑战？
• RQ2 在何种条件下，通用预测器 ξ 会在条件均方误差和几乎必然性意义下收敛于真实分布 μ？
• RQ3 相对于最优知情方案，通用方案在有限时间内所犯预测错误数的上界是什么？
• RQ4 通用预测框架能否扩展至处理机会游戏、部分预测、延迟反馈、分类任务以及具有动作相关结果的主动系统？
• RQ5 当字母表大小增加时，误差与收敛性界如何变化？能否将其推广至可数无限或连续字母表？

主要发现

• 即使在任意有限非二进制字母表下，通用预测器 ξ 也在条件均方误差下以及在 μ-概率 1 下收敛于真实分布 μ。
• 通用方案所犯预测错误数 Λ_ξ 不超过最优知情方案 Λ_μ 的 O(√E_μ) 倍，其中 E_μ 为最优方案所犯错误数。
• 收敛性与误差界适用于一般有限字母表，解决了从二进制到非二进制序列时出现的额外复杂性问题。
• 该框架可推广至机会游戏：通用方案 Λ_ξ 的平均收益收敛至最优方案 Λ_μ 的速度为 O(n^{-1/2})。
• 误差界与 μ 和 ξ 之间的相对熵成正比，达到盈利区所需的投注次数受 (2p_Δ / p̄_nΛ_μ)^2 · d_μ 限制。
• 通过极限或可分性论证，可将框架推广至无限字母表（可数或连续），而部分、延迟或基于分类的预测可通过修改损失函数或条件设定来建模。