[论文解读] Bias no more: high-probability data-dependent regret bounds for adversarial bandits and MDPs

Chung‐Wei Lee, Haipeng Luo+2 more|arXiv (Cornell University)|Jun 14, 2020

Advanced Bandit Algorithms Research被引用 12

一句话总结

本文提出了一种新颖且简洁的方法，用于在对抗性 bandits 和 MDP 中实现高概率遗憾界，该方法使用递增学习率和对数齐次自协融障碍的无偏估计器。该方法实现了数据相关的遗憾界，解决了对抗性线性 bandits 和马尔可夫决策过程中的开放问题，为这些设置提供了首个高效且高概率的小损失遗憾界。

ABSTRACT

We develop a new approach to obtaining high probability regret bounds for online learning with bandit feedback against an adaptive adversary. While existing approaches all require carefully constructing optimistic and biased loss estimators, our approach uses standard unbiased estimators and relies on a simple increasing learning rate schedule, together with the help of logarithmically homogeneous self-concordant barriers and a strengthened Freedman's inequality. Besides its simplicity, our approach enjoys several advantages. First, the obtained high-probability regret bounds are data-dependent and could be much smaller than the worst-case bounds, which resolves an open problem asked by Neu (2015). Second, resolving another open problem of Bartlett et al. (2008) and Abernethy and Rakhlin (2009), our approach leads to the first general and efficient algorithm with a high-probability regret bound for adversarial linear bandits, while previous methods are either inefficient or only applicable to specific action sets. Finally, our approach can also be applied to learning adversarial Markov Decision Processes and provides the first algorithm with a high-probability small-loss bound for this problem.

研究动机与目标

• 解决 Neu（2015）提出的开放问题：在对抗性 bandits 中获得数据相关的高概率遗憾界。
• 解决 Bartlett 等人（2008）和 Abernethy 与 Rakhlin（2009）提出的开放问题：为对抗性线性 bandits 实现高效且高概率的遗憾界。
• 将该框架扩展至对抗性马尔可夫决策过程（MDPs），并为该设置提供首个高概率小损失遗憾界。
• 开发一种通用且高效的算法框架，避免使用复杂有偏或乐观的损失估计器。
• 通过利用数据相关的特性，提供比最坏情况边界更紧致且更具适应性的理论保证。

提出的方法

• 采用标准无偏损失估计器，而非构建有偏或乐观的估计器，从而简化设计与分析。
• 使用简单的递增学习率调度策略，以增强自适应性并控制在线更新中的方差。
• 利用对数齐次自协融障碍，确保优化过程中的强集中性质。
• 应用加强版的 Freedman 不等式，以在对抗性反馈下推导高概率边界。
• 将上述组件整合为统一框架，适用于 bandit 反馈和 MDP 设置。
• 通过避免昂贵的投影或复杂估计方案，确保算法在计算上的高效性。

实验结果

研究问题

• RQ1 是否可以在不依赖有偏或乐观估计器的前提下，使对抗性 bandits 中的高概率遗憾界实现数据相关性？
• RQ2 是否能够设计一种在一般动作集上高效的算法，为对抗性线性 bandits 提供高概率遗憾界？
• RQ3 该框架能否扩展至对抗性 MDP，以实现该问题设置下的首个高概率小损失遗憾界？
• RQ4 递增学习率调度与自协融障碍如何协同作用，以改善集中性和遗憾界？
• RQ5 与最坏情况保证相比，无偏估计器在多大程度上可实现更紧致、数据相关的遗憾界？

主要发现

• 所提方法实现了显著小于最坏情况边界的、数据相关的高概率遗憾界，解决了 Neu（2015）提出的开放问题。
• 它为对抗性线性 bandits 提供了首个通用且高效的算法，具有高概率遗憾界，克服了以往方法在效率或动作集限制方面的局限。
• 该框架成功扩展至对抗性 MDP，为该问题设置提供了首个高概率小损失遗憾界。
• 通过使用无偏估计器和简单的递增学习率，该方法避免了复杂偏差校正或乐观估计的需求，简化了实现与分析。
• 利用对数齐次自协融障碍和加强版 Freedman 不等式，实现了更紧致的集中性与更优的遗憾保证。
• 理论结果表明，遗憾界能够自适应于数据，在有利的数据环境下实现更优性能，同时不牺牲高概率保证。