[论文解读] Mirror Descent and the Information Ratio

Tor Lattimore, András György|arXiv (Cornell University)|Sep 25, 2020

Advanced Bandit Algorithms Research参考文献 21被引用 8

一句话总结

本文建立了镜像下降与信息比率之间的理论联系，表明镜像下降中的稳定性界可导出与信息导向采样相匹配的遗憾界。该文提出了一种针对 $d$-臂对抗性 bandits 的高效算法，其遗憾为 $\mathfrak{R}_n \leq \sqrt{2dn}$，与目前已知的最佳信息论上界一致。

ABSTRACT

We establish a connection between the stability of mirror descent and the information ratio by Russo and Van Roy [2014]. Our analysis shows that mirror descent with suitable loss estimators and exploratory distributions enjoys the same bound on the adversarial regret as the bounds on the Bayesian regret for information-directed sampling. Along the way, we develop the theory for information-directed sampling and provide an efficient algorithm for adversarial bandits for which the regret upper bound matches exactly the best known information-theoretic upper bound.

研究动机与目标

• 将镜像下降与信息比率相连接，将非构造性的信息论界转化为显式的、稳定的在线学习算法。
• 通过使用无偏损失估计器和探索性分布，为对抗性 bandits 遗憾最小化提供一种构造性方法。
• 为有限臂 bandits 推导出一种高效算法，其遗憾与目前已知的最佳信息论上界相匹配。
• 将信息论工具推广至自适应遗憾界和非 $\Theta(n^{1/2})$ 遗憾范式。
• 为零阶 bandits 凸优化问题的改进算法提供一条可行路径。

提出的方法

• 利用极小化极大对偶性和信息论分析，将信息比率与镜像下降的稳定性联系起来。
• 应用特定损失估计器 $g(a,\sigma)_b$ 的镜像下降，该估计器无偏且能保证有界遗憾。
• 采用基于 Bregman 散度 $\Psi_q$ 的正则化项，以控制稳定性和遗憾。
• 通过柯西-施瓦茨不等式和估计函数的代数运算，界定稳定性项，从而推导出遗憾界。
• 提出一种新颖的损失估计函数，使得镜像下降中 $P_t = Q_t$ 同时保持遗憾界。
• 在适当假设下，利用 Sion 的极小化极大定理和凸分析来证明构造的合理性。

实验结果

研究问题

• RQ1 能否将贝叶斯遗憾分析中使用的信息论工具转化为在线学习的构造性框架？
• RQ2 使用适当的损失估计器和探索性分布的镜像下降，是否能达到与信息导向采样相同的遗憾界？
• RQ3 能否将镜像下降的稳定性与信息比率联系起来，以获得紧致的对抗性遗憾界？
• RQ4 能否设计出一种针对对抗性 bandits 的高效算法，其遗憾与信息论上界相匹配？
• RQ5 所提出的框架能否推广至无限动作空间或凸 bandits 问题？

主要发现

• 本文证明了信息比率的界可推出镜像下降和跟随正则化领导者（follow-the-regularized-leader）的稳定性界，从而实现构造性遗憾分析。
• 构造出一种针对 $d$-臂对抗性 bandits 的高效算法，其遗憾 $\mathfrak{R}_n \leq \sqrt{2dn}$，与目前已知的最佳信息论上界一致。
• 损失估计函数 $g(a,\sigma)_b$ 被证明是无偏的，并能实现 $P_t = Q_t$ 的稳定镜像下降更新。
• 通过一种新颖的代数与柯西-施瓦茨不等式结合的论证，将遗憾界中的稳定性项界定为 $\frac{\eta\sqrt{d}}{4}$。
• 该分析为凸 bandits 提供了一种更简单的替代方法，避免了复杂的“缩放”或重置机制。
• 该框架可推广至极小化极大遗憾并非 $\Theta(n^{1/2})$ 的情形，从而实现自适应遗憾界。