[论文解读] Efficient and Robust Algorithms for Adversarial Linear Contextual Bandits

Gergely Neu, Julia Olkhovskaya|arXiv (Cornell University)|Feb 1, 2020

Advanced Bandit Algorithms Research参考文献 51被引用 4

一句话总结

本文提出了两种高效的算法——RealLinExp3 和 RobustLinExp3——用于具有独立同分布上下文的对抗性线性上下文 bandit 问题。RealLinExp3 实现了 $\widetilde{O}(\sqrt{KdT})$ 的遗憾界，与目前已知的最佳下界一致，而 RobustLinExp3 在模型误设情况下提供了鲁棒性保障，其遗憾界为 $\widetilde{O}((Kd)^{1/3}T^{2/3}) + \varepsilon\sqrt{d}T$，这是该设置下的首次此类保证。

ABSTRACT

We consider an adversarial variant of the classic $K$-armed linear contextual bandit problem where the sequence of loss functions associated with each arm are allowed to change without restriction over time. Under the assumption that the $d$-dimensional contexts are generated i.i.d.~at random from a known distributions, we develop computationally efficient algorithms based on the classic Exp3 algorithm. Our first algorithm, RealLinExp3, is shown to achieve a regret guarantee of $\widetilde{O}(\sqrt{KdT})$ over $T$ rounds, which matches the best available bound for this problem. Our second algorithm, RobustLinExp3, is shown to be robust to misspecification, in that it achieves a regret bound of $\widetilde{O}((Kd)^{1/3}T^{2/3}) + \varepsilon \sqrt{d} T$ if the true reward function is linear up to an additive nonlinear error uniformly bounded in absolute value by $\varepsilon$. To our knowledge, our performance guarantees constitute the very first results on this problem setting.

研究动机与目标

• 通过设计计算高效的算法并提供强性能保证，填补文献中关于对抗性线性上下文 bandit 问题的空白。
• 解决现有算法假设损失函数为固定或随机生成且对模型误设敏感的局限性。
• 开发在真实奖励函数仅轻微偏离假设线性模型时仍能保持强遗憾界的方法。
• 使上下文 bandit 算法在实际应用中可部署，其中损失函数可能为对抗性且模型很可能误设。
• 在独立同分布上下文假设下，首次建立对抗性线性上下文 bandit 问题的正式性能保证。

提出的方法

• 通过利用上下文的独立同分布性质以及上下文与损失之间的统计独立性，将上下文 bandit 问题简化为一组具有固定动作集的辅助 bandit 问题。
• RealLinExp3 使用 Exp3 算法，并通过无偏估计器进行上下文特定的损失估计，从而在 $T$ 轮内实现高效的遗憾最小化。
• RobustLinExp3 引入一个鲁棒性项，以处理有界于 $\varepsilon$ 的非线性误差，并采用改进的损失估计策略，以在模型误设下保持性能。
• 提出矩阵几何重采样（MGR）作为一种新颖且计算高效的逆协方差矩阵估计方法，避免了直接求逆的高成本。
• 分析依赖于引理 4.1，该引理将上下文设置下的遗憾与辅助 bandit 问题中的期望遗憾关联起来，从而可将问题简化为标准 bandit 分析。
• 算法设计计算高效且可扩展，其理论保证在对上下文分布和损失结构的温和假设下成立。

实验结果

研究问题

• RQ1 我们能否设计一种计算高效的算法，用于对抗性线性上下文 bandit 问题，在独立同分布上下文假设下实现极小化最大遗憾？
• RQ2 当真实奖励函数为线性但存在 $\varepsilon$-有界非线性误差时，能否实现鲁棒的性能保证？
• RQ3 在存在对抗性损失序列的同时，是否可能在仍利用上下文信息的前提下保持强遗憾界？
• RQ4 能否开发一种在对抗性线性 bandit 中估计逆协方差矩阵的实用方法，且不产生高昂计算成本？
• RQ5 在此设置下，遗憾性能与对模型误设的鲁棒性之间是否存在根本性权衡？

主要发现

• RealLinExp3 在 $T$ 轮内实现了 $\widetilde{O}(\sqrt{KdT})$ 的遗憾界，与该问题的最佳已知下界一致，从而确立了极小化最大遗憾的最优性。
• 当真实奖励函数为线性但存在 $\varepsilon$-有界误差时，RobustLinExp3 实现了 $\widetilde{O}((Kd)^{1/3}T^{2/3}) + \varepsilon\sqrt{d}T$ 的遗憾界，这是该设置下的首次此类鲁棒性保证。
• 所提出的算法计算高效，且无需事先知晓损失序列，适用于实时决策应用。
• 矩阵几何重采样（MGR）技术提供了一种可扩展的替代方案，用于避免直接求逆协方差矩阵，且与随机优化中的梯度下降动力学存在联系。
• 理论分析表明，若不对上下文生成方式施加假设，则子线性遗憾是不可能的；独立同分布假设被证明在可处理性方面既自然又必要。
• 通过引理 4.1 将问题约化为辅助 bandit 问题，实现了清晰的分析，并为基于损失函数估计而非策略类优化的上下文 bandit 算法开辟了新方向。