[论文解读] General Loss Bounds for Universal Sequence Prediction

Marcus Hütter|arXiv (Cornell University)|Jan 21, 2001

Computability, Logic, AI Algorithms参考文献 16被引用 11

一句话总结

本文将索洛蒙off的通用归纳推广至任意损失函数和预测场景，证明基于分布加权混合（ξ）的通用预测器，其损失与使用真实分布μ的最优知情预测器相比，差距在O(√Lμ)以内。关键结果表明，即使在未知真实分布的情况下，通用预测也能渐近逼近最佳性能，且在涉及相对熵的紧密收敛界下，适用于机会游戏。

ABSTRACT

The Bayesian framework is ideally suited for induction problems. The probability of observing $x_t$ at time $t$, given past observations $x_1...x_{t-1}$ can be computed with Bayes' rule if the true distribution $μ$ of the sequences $x_1x_2x_3...$ is known. The problem, however, is that in many cases one does not even have a reasonable estimate of the true distribution. In order to overcome this problem a universal distribution $ξ$ is defined as a weighted sum of distributions $μ_i\inM$, where $M$ is any countable set of distributions including $μ$. This is a generalization of Solomonoff induction, in which $M$ is the set of all enumerable semi-measures. Systems which predict $y_t$, given $x_1...x_{t-1}$ and which receive loss $l_{x_t y_t}$ if $x_t$ is the true next symbol of the sequence are considered. It is proven that using the universal $ξ$ as a prior is nearly as good as using the unknown true distribution $μ$. Furthermore, games of chance, defined as a sequence of bets, observations, and rewards are studied. The time needed to reach the winning zone is bounded in terms of the relative entropy of $μ$ and $ξ$. Extensions to arbitrary alphabets, partial and delayed prediction, and more active systems are discussed.

研究动机与目标

• 将索洛蒙off的通用归纳推广至预测误差以外的一般损失函数。
• 在真实分布μ未知的情况下，建立通用预测性能的理论边界。
• 证明使用ξ的通用预测器可几乎匹配使用μ的知情预测器的性能。
• 分析在机会游戏中，使用通用预测器达到盈利所需的时间。
• 将框架推广至任意字母表、部分/延迟预测以及主动系统。

提出的方法

• 将通用先验ξ定义为可数集合M中分布的加权和，其中包含真实分布μ。
• 使用贝叶斯法则计算基于ξ的条件概率P(x_t | x_{<t})以实现预测。
• 制定在ξ和μ下分别最小化期望损失的预测方案Λ_ξ和Λ_μ。
• 证明损失边界，显示L_ξ ≤ L_μ + O(√L_μ)，其中L_ξ和L_μ分别为在ξ和μ下的总损失。
• 将边界应用于机会游戏，证明平均利润差距p̄_nΛ_ξ − p̄_nΛ_μ = O(n^{-1/2})。
• 以相对熵D(μ||ξ) ≤ ln(1/w_μ)为条件，界定达到盈利所需的时间。

实验结果

研究问题

• RQ1 在一般损失函数下，基于贝叶斯混合ξ的通用预测能否实现接近使用真实分布μ的知情预测器的性能？
• RQ2 在总损失L_μ的尺度下，通用预测器Λ_ξ的损失与最优知情预测器Λ_μ相比如何？
• RQ3 在机会游戏中，通用预测器达到盈利所需的时间是多少？其与μ和ξ之间相对熵的关系如何？
• RQ4 该框架能否推广至任意字母表、部分或延迟预测以及主动系统？
• RQ5 通用预测器的性能与加权多数法等现有算法有何关联？

主要发现

• 通用预测器Λ_ξ的总损失被限制在最优知情预测器Λ_μ的总损失加上O(√L_μ)以内，证明了其近乎最优性。
• 在机会游戏中，Λ_ξ的平均利润以O(n^{-1/2})的速率收敛至Λ_μ的平均利润，确保若任一方案盈利，则其最终也将实现渐近盈利。
• 在机会游戏中，达到盈利区所需时间的下限由相对熵D(μ||ξ)的函数决定，该值对均匀权重而言最多为ln(1/w_μ)。
• 该框架通过允许任意概率类M和一般损失函数（而不仅限于预测误差），推广了索洛蒙off归纳。
• 损失边界结构类似于加权多数算法，但适用于环境上的通用贝叶斯预测，而非专家。
• 提出了一种信息论解释，将收敛时间与真实分布的复杂性通过w_μ联系起来。