[论文解读] Prediction with Expert Advice under Discounted Loss

Alexey Chernov, Fedor Zhdanov|arXiv (Cornell University)|May 11, 2010

Advanced Bandit Algorithms Research参考文献 19被引用 5

一句话总结

本文提出了一种广义框架，用于在折扣累积损失下进行在线预测与专家建议，其中使用时变折扣因子对历史损失进行加权。该文提出了一种指数加权平均算法的新变体，并证明了累积折扣损失的紧致界，将经典结果推广至非指数折扣情形，实现了非平稳环境下的自适应学习。

ABSTRACT

We study prediction with expert advice in the setting where the losses are accumulated with some discounting---the impact of old losses may gradually vanish. We generalize the Aggregating Algorithm and the Aggregating Algorithm for Regression to this case, propose a suitable new variant of exponential weights algorithm, and prove respective loss bounds.

研究动机与目标

• 将经典的专家建议预测框架推广，以允许对历史损失采用一般性、时变的折扣方式。
• 开发一种适用于折扣损失场景的指数加权平均算法新变体。
• 将聚合算法（Aggregating Algorithm）及其回归对应版本推广至非均匀折扣情形。
• 证明适用于所有时间步长 T 的一致、时不变的累积折扣损失界。
• 通过允许策略性折扣模式（如温和重启）使学习者能够适应不断变化的最佳专家。

提出的方法

• 引入协议 1，一种具有时变折扣因子 αt ∈ (0,1] 的广义在线预测协议，用于缩放先前的累积损失。
• 将折扣累积损失定义为 Lt = αt−1Lt−1 + λ(γt, ωt)，其中 αt−1 降低旧损失的权重。
• 提出一种基于防御性预测的新型预测策略，使用潜在函数以确保损失增长有界。
• 通过涉及损失函数与专家预测的不动点方程推导预测规则，从而得出显式更新规则。
• 将该方法应用于平方损失与回归场景，推导出平方损失情形下的闭式预测规则。
• 利用对数与指数变换推导期望损失的界，借助凹性与凸性性质。

实验结果

研究问题

• RQ1 如何将标准的专家建议预测框架推广，以允许对历史损失采用时变折扣？
• RQ2 在一般折扣情形下，是否能够对所有时间步长 T 实现一致有界的损失保证，而非仅在预设的 T 处？
• RQ3 在折扣损失下，最优预测策略的结构是什么，以及如何高效计算？
• RQ4 在非指数折扣（如几何或自适应折扣模式）下，新算法的表现如何？
• RQ5 该框架能否扩展至回归与连续结果空间，同时保持理论保证？

主要发现

• 本文建立了一种适用于一般折扣的指数加权平均算法新变体，该算法在一般折扣下最优，并实现有界的累积折扣损失。
• 证明了一致损失界，适用于所有时间步长 T，与以往仅在预设 T 处保证性能的结果不同。
• 对于平方损失，推导出闭式预测规则：γ = (Y₁ + Y₂)/2 − (g(Y₂) − g(Y₁))/(2(Y₂ − Y₁))，其中 g 是专家损失的加权平均。
• 该框架支持策略性折扣，例如在大多数 t 处 αt ≈ 1，而在关键时间点 αt ≪ 1，使学习者能够“重启”并适应变化的最佳专家。
• 通过防御性预测与凸性论证推导出理论保证，表明在所提策略下期望损失保持有界。
• 该方法将聚合算法及其回归变体推广至折扣损失场景，同时保持其最优性特性。