[论文解读] On-line regression competitive with reproducing kernel Hilbert spaces

Vladimir Vovk|ArXiv.org|Nov 15, 2005

Advanced Bandit Algorithms Research被引用 11

一句话总结

本文提出了一种在线回归算法，其遗憾（regret）与再生核希尔伯特空间（RKHS）中任意预测规则的遗憾具有可比性，即使在RKHS为无限维且未对基准函数施加范数约束的情况下亦成立。该方法结合防御性预测与聚合算法（Aggregating Algorithm），确保累积平方损失仅比任何固定规则的损失高出 $ O(\sqrt{N}) $，且主导常数最优，从而提供了非随机的、普遍一致性的保证。

ABSTRACT

We consider the problem of on-line prediction of real-valued labels, assumed bounded in absolute value by a known constant, of new objects from known labeled objects. The prediction algorithm's performance is measured by the squared deviation of the predictions from the actual labels. No stochastic assumptions are made about the way the labels and objects are generated. Instead, we are given a benchmark class of prediction rules some of which are hoped to produce good predictions. We show that for a wide range of infinite-dimensional benchmark classes one can construct a prediction algorithm whose cumulative loss over the first N examples does not exceed the cumulative loss of any prediction rule in the class plus O(sqrt(N)); the main differences from the known results are that we do not impose any upper bound on the norm of the considered prediction rules and that we achieve an optimal leading term in the excess loss of our algorithm. If the benchmark class is "universal" (dense in the class of continuous functions on each compact set), this provides an on-line non-stochastic analogue of universally consistent prediction in non-parametric statistics. We use two proof techniques: one is based on the Aggregating Algorithm and the other on the recently developed method of defensive forecasting.

研究动机与目标

• 开发一种在线回归算法，使其在潜在无限维的RKHS中，对任意预测规则均表现具有竞争力，且不对基准函数施加范数约束。
• 在非参数回归中建立非随机的、有限样本的普遍一致性类比，将Stone的渐近结果推广至在线学习场景。
• 使 $ O(\sqrt{N}) $ 遗憾项中的主导常数达到最优，优于以往研究中存在次优常数或需施加严格假设的工作。
• 展示防御性预测与聚合算法在在线回归中的通用性，特别是针对平方损失的应用。
• 提供显式可实现的预测策略，利用基于核的预测规则实现所述遗憾界。

提出的方法

• 该算法使用融合核，结合标签预测与对象特征：$ \mu\mu' / Y^2 + \langle \mathbf{k}_x, \mathbf{k}_{x'} \rangle_{\mathcal{F}} $，从而实现对预测与核结构的联合优化。
• 在每一轮中，预测值 $ \mu_n $ 通过求解方程 $ S_n(\mu) = 0 $ 得到，其中 $ S_n(\mu) $ 是基于历史数据与核函数构造的二次函数，确保在聚合算法框架下期望损失最小化。
• 通过构建一种策略，使现实（Reality）仅在预测规则接近基准规则时才允许损失增长，从而应用防御性预测，确保遗憾界在确定性下成立。
• 该方法依赖RKHS的再生性质，表达预测规则的损失与范数，从而通过泛函分析对过剩损失实现紧密控制。
• 算法显式使用核函数 $ \mathbf{k}(x,x') = c^2 \max(1 - |x - x'|, 0) $，对应三角核，以确保有限维逼近与可计算性。
• 采用两种证明技术：聚合算法与防御性预测，后者被证明更具通用性并能导出更紧的界。

实验结果

研究问题

• RQ1 能否设计一种在线回归算法，使其相对于无限维RKHS中任意规则的遗憾被限制在 $ O(\sqrt{N}) $ 以内，且不对基准函数施加范数约束？
• RQ2 是否可能在非随机、有限样本设置下，定义并构造一种普遍一致的在线预测算法，类比于统计回归中Stone的渐近结果？
• RQ3 能否使 $ O(\sqrt{N}) $ 遗憾项中的主导常数达到最优，避免以往研究中出现的次优常数？
• RQ4 如何将防御性预测适配至具有平方损失的在线回归中？相较于传统聚合方法，其优势为何？
• RQ5 实现所述遗憾界的具体预测策略形式为何？如何实现高效计算？

主要发现

• 所提算法相对于基准类中任意固定规则的遗憾界为 $ O(\sqrt{N}) $，且主导常数最优，即使在RKHS为无限维且未施加范数约束时亦成立。
• 对于在紧集上连续函数中稠密的通用基准类，该算法在非随机、在线设置下实现了普遍一致性，推广了Stone的渐近结果。
• 遗憾界为 $ \frac{3}{2}Y^2 \ln N + 2Ycd\sqrt{N+2} + \frac{(cd)^2}{4} + O(Y^2) $，与理论下界仅差常数因子，其中 $ c $ 与 $ d $ 分别与核函数及基准规则的范数相关。
• 防御性预测方法在遗憾分析上优于聚合算法，尤其在处理平方损失与实现最优常数方面表现更优。
• 通过融合核推导出显式预测策略，使算法可在实际中实现，其计算复杂度仅依赖于历史样本数量。
• 证明表明，相对于任意基准规则 $ D $（其RKHS范数为 $ d $），过剩损失最多为 $ (2 - \alpha)Ycd\sqrt{N} $，其中 $ \alpha = cd / (Y\sqrt{N}) $，确认了 $ O(\sqrt{N}) $ 的增长趋势且主导常数最优。