[论文解读] A Differential Equations Approach to Optimizing Regret Trade-offs

Alexandr Andoni, Rina Panigrahy‎|arXiv (Cornell University)|May 7, 2013

Advanced Bandit Algorithms Research参考文献 1被引用 4

一句话总结

本文提出一种微分方程方法，用于优化二元序列预测和两专家问题中的遗憾权衡，表明最优收益函数满足埃尔米特微分方程。关键贡献在于提出了一种可证明最优的算法，在时间贴现设置下，通过利用埃尔米特方程的解表征专家遗憾之间的精确权衡曲线，将遗憾显著降低至加权多数算法的90%以内，最高可降低10%。

ABSTRACT

We consider the classical question of predicting binary sequences and study the {\em optimal} algorithms for obtaining the best possible regret and payoff functions for this problem. The question turns out to be also equivalent to the problem of optimal trade-offs between the regrets of two experts in an "experts problem", studied before by \cite{kearns-regret}. While, say, a regret of $Θ(\sqrt{T})$ is known, we argue that it important to ask what is the provably optimal algorithm for this problem --- both because it leads to natural algorithms, as well as because regret is in fact often comparable in magnitude to the final payoffs and hence is a non-negligible term. In the basic setting, the result essentially follows from a classical result of Cover from '65. Here instead, we focus on another standard setting, of time-discounted payoffs, where the final "stopping time" is not specified. We exhibit an explicit characterization of the optimal regret for this setting. To obtain our main result, we show that the optimal payoff functions have to satisfy the Hermite differential equation, and hence are given by the solutions to this equation. It turns out that characterization of the payoff function is qualitatively different from the classical (non-discounted) setting, and, namely, there's essentially a unique optimal solution.

研究动机与目标

• 识别在时间贴现二元序列预测中可证明最优的算法，以超越 Θ(√T) 这类渐近界。
• 表征在停止时间不固定的情况下，两专家遗憾之间的精确权衡曲线。
• 在时间贴现收益设置下，推导最优收益函数的闭式表征，表明其由埃尔米特微分方程的解唯一确定。
• 通过降低遗憾界中的主导常数，改进现有算法（如加权多数算法），特别是在序列收益为 √T 量级时。

提出的方法

• 作者将最优收益函数建模为满足从预测问题中离散递推关系导出的连续时间微分不等式的函数。
• 他们证明最优收益函数必须满足埃尔米特微分方程：g''(x) - 2xg'(x) + 2g(x) = 0，其解定义了最优遗憾权衡。
• 通过分析预测问题中的离散递推关系，他们利用泰勒展开推导出连续近似，并通过 O(1/√n) 项控制误差。
• 他们证明埃尔米特方程的解可为离散问题提供近似最优解，且误差有界，并随 n 增大而减小。
• 对于有界投注，他们构造函数 g(x) = F(x) - O(1/√n)，使得 √n·g(√n x) 满足离散不等式。
• 对于无界投注，他们推导出解 g(x) = F(x)·e^{-O(x²/n + 1/n)}，其满足不等式且误差呈指数级衰减。

实验结果

研究问题

• RQ1 在停止时间不固定的贴现时间设置下，两专家之间的最优遗憾权衡曲线的精确形式是什么？
• RQ2 该设置下的最优收益函数能否进行解析表征？若能，其满足何种微分方程？
• RQ3 与现有算法（如加权多数算法）相比，该最优算法在遗憾降低方面有何定量差异？
• RQ4 能否通过优化常数因子，实现比 Θ(√T) 更紧的遗憾界，特别是在序列收益为 O(√T) 时？
• RQ5 为何时间贴现设置在解的唯一性与结构方面与经典非贴现设置有质的不同？

主要发现

• 在时间贴现设置下，最优收益函数由埃尔米特微分方程的解唯一确定，从而导致唯一最优解。
• 所提出的算法实现的遗憾比加权多数算法低约10%，显著改善了遗憾界中的常数因子。
• 在序列收益约为 Θ(√T) 的区域，该算法相比加权多数算法可提升收益达 0.3√T。
• 离散递推关系的解可由埃尔米特函数解近似，误差项为 O(1/√n)，且随 n 增大而消失。
• 离散问题的连续松弛导出一个微分不等式，其解在小误差范围内可证明为最优，且仅当函数为线性时才可能在递推中取等，但线性函数不可行。
• 本文证明，不存在非平凡的解析解能精确满足离散递推的等式，从而为推导中使用不等式松弛提供了合理性。