[论文解读] Bandit Convex Optimization: sqrt{T} Regret in One Dimension

Sébastien Bubeck, Ofer Dekel+2 more|arXiv (Cornell University)|Feb 23, 2015

Advanced Bandit Algorithms Research参考文献 16被引用 10

一句话总结

本文证明了对抗性一维 bandit 凸优化的最小最大后悔值为 $\widetilde{O}(\sqrt{T})$，解决了长期存在的开放问题。通过最小最大对偶性，作者将对抗性问题转化为贝叶斯设置，并设计了一种新型的凸性感知版 Thompson Sampling，该方法利用凸函数的新型‘局部到全局’性质，实现了 $\widetilde{O}(\sqrt{T})$ 的后悔值。

ABSTRACT

We analyze the minimax regret of the adversarial bandit convex optimization problem. Focusing on the one-dimensional case, we prove that the minimax regret is $\widetildeΘ(\sqrt{T})$ and partially resolve a decade-old open problem. Our analysis is non-constructive, as we do not present a concrete algorithm that attains this regret rate. Instead, we use minimax duality to reduce the problem to a Bayesian setting, where the convex loss functions are drawn from a worst-case distribution, and then we solve the Bayesian version of the problem with a variant of Thompson Sampling. Our analysis features a novel use of convexity, formalized as a "local-to-global" property of convex functions, that may be of independent interest.

研究动机与目标

• 解决一维对抗性 bandit 凸优化的最小最大后悔值表征这一开放问题。
• 证明在 $[0,1]$ 上有界凸损失函数的最小最大后悔值为 $\widetilde{O}(\sqrt{T})$。
• 提出一种基于最小最大对偶性的非构造性证明策略，将对抗性设置转换为贝叶斯反馈设置。
• 引入并利用一种新型的‘局部到全局’凸性性质，以控制贝叶斯设置下的后悔值。
• 证明凸性可使离散化 bandit 设置中后悔值对臂的数量呈现对数依赖，从而导出 $\widetilde{O}(\sqrt{T})$ 的界。

提出的方法

• 应用最小最大对偶性，将对抗性 bandit 凸优化问题转化为贝叶斯最大最小后悔问题。
• 在离散化域 $[0,1]$ 上使用有限个点作为多臂 bandit 框架中的臂。
• 设计一种利用凸性建模损失函数为具有联合先验的随机变量的 Thompson Sampling 变体。
• 利用凸函数的新型‘局部到全局’性质，表明损失值的局部变化会影响相邻臂的损失。
• 通过信息论方法界定期望后悔值，特别是通过后验更新的方差控制瞬时信息增益。
• 采用 Russo 和 van Roy (2014) 的分析框架，并将其推广至任意联合先验，而不仅限于独立同分布序列。

实验结果

研究问题

• RQ1 对抗性一维 bandit 凸优化的精确最小最大后悔值是多少？
• RQ2 尽管缺乏光滑性或强凸性，是否仍可在一维情况下实现 $\widetilde{O}(\sqrt{T})$ 的后悔率？
• RQ3 是否可利用最小最大对偶性，通过具有结构化先验的贝叶斯分析来上界对抗性后悔？
• RQ4 损失函数的凸性是否可使后悔界中对离散化点数的依赖变为对数关系？
• RQ5 是否可通过修改的 Thompson Sampling 策略在贝叶斯设置中实现 $\widetilde{O}(\sqrt{T})$ 的后悔值，而无需计算效率？

主要发现

• 对抗性一维 bandit 凸优化的最小最大后悔值为 $\widetilde{O}(\sqrt{T})$，解决了长达十年的开放问题。
• 该上界是非构造性的，因为未提供在对抗性设置中实现该后悔率的显式算法。
• 关键技术创新是凸函数的‘局部到全局’性质，该性质确保损失值的局部扰动以受控方式传播至相邻点。
• 贝叶斯分析通过一种利用凸函数结构的修改版 Thompson Sampling 算法，实现了 $\widetilde{O}(\sqrt{T})$ 的后悔值。
• 由于相邻臂之间由凸性诱导的相关性，后悔界对臂的数量呈对数依赖。
• 该结果表明 $\Omega(\sqrt{T})$ 的下界在一维情况下是紧的，从而弥合了已知上下界之间的差距。