[论文解读] Achieving Near Instance-Optimality and Minimax-Optimality in Stochastic and Adversarial Linear Bandits Simultaneously

Chung‐Wei Lee, Haipeng Luo+3 more|arXiv (Cornell University)|Jul 18, 2021

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文提出了两种新型线性Bandit算法，能够在随机环境中实现实例最优遗憾，在对抗环境中实现最小最大最优遗憾，且具有高概率保证。通过整合新型损失估计器与自适应测试的对抗性组件，该方法在随机设置中实现近乎实例最优性能，在对抗性设置中实现对污染的最优鲁棒性，优于以往工作在自适应性与对污染水平依赖性方面的表现。

ABSTRACT

In this work, we develop linear bandit algorithms that automatically adapt to different environments. By plugging a novel loss estimator into the optimization problem that characterizes the instance-optimal strategy, our first algorithm not only achieves nearly instance-optimal regret in stochastic environments, but also works in corrupted environments with additional regret being the amount of corruption, while the state-of-the-art (Li et al., 2019) achieves neither instance-optimality nor the optimal dependence on the corruption amount. Moreover, by equipping this algorithm with an adversarial component and carefully-designed testings, our second algorithm additionally enjoys minimax-optimal regret in completely adversarial environments, which is the first of this kind to our knowledge. Finally, all our guarantees hold with high probability, while existing instance-optimal guarantees only hold in expectation.

研究动机与目标

• 开发一种线性Bandit算法，能够在不事先知晓环境类型的情况下，自适应于随机与对抗环境。
• 在随机环境中实现近乎实例最优的遗憾，其中遗憾依赖于问题特定参数。
• 确保对污染反馈的鲁棒性，且额外遗憾随污染量线性增长。
• 在完全对抗环境中实现最小最大最优遗憾，这是此前同类框架中未实现的能力。
• 提供高概率遗憾界，克服以往实例最优方法仅提供期望值保证的局限。

提出的方法

• 提出一种新型损失估计器，增强实例最优策略背后的优化问题，提升鲁棒性与自适应性。
• 设计一种两阶段算法，通过精心构建的测试程序，将随机组件与对抗组件相结合。
• 采用高概率集中技术，确保所有理论保证以高概率成立，而非仅在期望下成立。
• 使用测试机制，根据环境特征动态在随机与对抗行为之间切换。
• 确保在污染环境中的遗憾随污染量线性增长，匹配最优依赖关系。
• 利用线性Bandit的结构，在保持计算高效的同时实现强大的理论性能。

实验结果

研究问题

• RQ1 能否设计一种单一线性Bandit算法，同时在随机环境中实现实例最优，在对抗环境中实现最小最大最优？
• RQ2 算法如何在保持近乎实例最优遗憾的同时，对污染反馈保持鲁棒性？
• RQ3 在对抗设置中，遗憾对污染量的最优依赖关系是什么？
• RQ4 能否为实例最优线性Bandit实现高概率遗憾界，而非仅在期望下成立？
• RQ5 何种机制可实现无需事先知晓环境类型即可在随机与对抗模式间自动切换？

主要发现

• 第一种算法在随机环境中实现近乎实例最优遗憾，并因污染引入额外遗憾，且具有高概率保证。
• 该算法优于以往工作（Li et al., 2019），实现了实例最优与对污染量的最优依赖，而此前方法未能做到这一点。
• 第二种算法通过引入对抗组件与自适应测试，首次在完全对抗环境中实现最小最大最优遗憾。
• 所有理论保证均以高概率建立，解决了以往实例最优方法仅提供期望值边界的局限。
• 所提方法可自动适应环境类型——随机、污染或完全对抗——而无需事先知晓或调参。
• 新型损失估计器实现更紧的遗憾界与更强鲁棒性，构成实现双重最优性保证的核心创新。