[论文解读] A Stochastic View of Optimal Regret through Minimax Duality

Jacob Abernethy, Alekh Agarwal+2 more|ArXiv.org|Mar 30, 2009

Advanced Bandit Algorithms Research参考文献 10被引用 16

一句话总结

本文通过冯·诺依曼极小化极大定理，为在线凸优化中的最优后悔提供了随机解释，表明极小化极大后悔等于在对抗性数据序列的概率分布上，对凹泛函应用詹森不等式时的最大间隙。通过几何与对偶性分析，推导出后悔的紧致上下界，揭示了与统计学习的联系，并给出了最优对抗策略的显式表达。

ABSTRACT

We study the regret of optimal strategies for online convex optimization games. Using von Neumann's minimax theorem, we show that the optimal regret in this adversarial setting is closely related to the behavior of the empirical minimization algorithm in a stochastic process setting: it is equal to the maximum, over joint distributions of the adversary's action sequence, of the difference between a sum of minimal expected losses and the minimal empirical loss. We show that the optimal regret has a natural geometric interpretation, since it can be viewed as the gap in Jensen's inequality for a concave functional--the minimizer over the player's actions of expected loss--defined on a set of probability distributions. We use this expression to obtain upper and lower bounds on the regret of an optimal strategy for a variety of online learning problems. Our method provides upper bounds without the need to construct a learning algorithm; the lower bounds provide explicit optimal strategies for the adversary.

研究动机与目标

• 通过揭示最优后悔与随机过程中经验最小化之间的深层对偶性，弥合对抗性在线学习与统计学习之间的鸿沟。
• 将在线凸优化中的极小化极大后悔表征为在概率分布上对凹泛函应用詹森不等式时的几何间隙。
• 在不构造学习算法的前提下，利用对偶性与支撑函数分析，推导最优后悔的上下界。
• 识别出能够实现所推导后悔下界的具体最优对抗策略。
• 探讨损失类在仿射变换下的后悔不变性，建立同构学习问题之间的联系。

提出的方法

• 应用冯·诺依曼极小化极大定理，将极小化极大后悔重述为条件最小损失与全局最小经验损失之间的期望差距。
• 将后悔定义为数据序列联合分布上，条件最小期望损失之和与全局经验最小值之差的上确界。
• 利用负损失函数凸包的支撑函数，通过凸对偶性刻画后悔。
• 对构造的条件期望序列应用逆向归纳法，证明特定分布下的精确后悔表达式。
• 利用已知渐近展开式（如 ∑cₜ = log T − log log T + o(1)）推导精确的渐近后悔速率。
• 通过损失类的线性变换分析后悔在可逆映射下的不变性，若非退化暴露面不被旋转离原点，则保持 √T 速率。

实验结果

研究问题

• RQ1 在线凸优化中的最优后悔与随机设定下经验最小化的行为有何关联？
• RQ2 极小化极大后悔能否表示为在概率分布上对凹泛函应用詹森不等式时的几何间隙？
• RQ3 在线学习问题中，最优后悔的紧致上下界是什么？如何在不构造算法的情况下推导它们？
• RQ4 对抗者采用何种显式策略以实现最坏情况下的后悔？这些策略如何表征？
• RQ5 损失类的线性变换如何影响极小化极大后悔？在何种条件下后悔在这些变换下保持不变？

主要发现

• 极小化极大后悔精确等于所有数据序列联合分布上，条件最小期望损失之和与最小经验损失之差的上确界。
• 最优后悔具有精确的渐近形式：log T − log log T + o(1)，该结果通过构造的条件期望序列的逆向归纳法得出。
• 后悔可解释为定义在玩家动作集上期望损失下确界的凹泛函在詹森不等式中的间隙。
• 该方法通过显式最优对抗策略提供下界，这些策略源自数据序列的最优分布。
• 上界不依赖于学习算法的构造，仅依赖于对偶性与凸几何。
• 若损失类的线性变换不将非退化暴露面从原点旋转开，则保持 √T 的后悔速率，表明某些学习问题具有同构性。