[论文解读] Bandit Convex Optimization in Non-stationary Environments

Peng Zhao, Guanghui Wang+2 more|arXiv (Cornell University)|Jun 3, 2020

Advanced Bandit Algorithms Research被引用 1

一句话总结

本文提出了一种新颖的自适应算法，用于非平稳环境下的带Bandit凸优化（BCO），在单点反馈下实现了动态遗憾界$O(T^{3/4}(1+P_T)^{1/2})$，在两点反馈下实现了$O(T^{1/2}(1+P_T)^{1/2})$，后者与已知的下界一致。该算法无需事先知晓路径长度$P_T$，从而增强了对未知非平稳性的适应能力。

ABSTRACT

Bandit Convex Optimization (BCO) is a fundamental framework for modeling sequential decision-making with partial information, where the only feedback available to the player is the one-point or two-point function values. In this paper, we investigate BCO in non-stationary environments and choose the \emph{dynamic regret} as the performance measure, which is defined as the difference between the cumulative loss incurred by the algorithm and that of any feasible comparator sequence. Let $T$ be the time horizon and $P_T$ be the path-length of the comparator sequence that reflects the non-stationarity of environments. We propose a novel algorithm that achieves $O(T^{3/4}(1+P_T)^{1/2})$ and $O(T^{1/2}(1+P_T)^{1/2})$ dynamic regret respectively for the one-point and two-point feedback models. The latter result is optimal, matching the $\Omega(T^{1/2}(1+P_T)^{1/2})$ lower bound established in this paper. Notably, our algorithm is more adaptive to non-stationary environments since it does not require prior knowledge of the path-length $P_T$ ahead of time, which is generally unknown.

研究动机与目标

• 解决在非平稳环境中部分反馈下的序列决策问题。
• 为带Bandit凸优化（BCO）设计一个动态遗憾最小化框架，其中比较序列可随时间变化。
• 设计一种能够适应未知环境非平稳程度的算法，且无需事先知晓路径长度$P_T$。
• 建立同时反映时间范围$T$和路径长度$P_T$的紧密遗憾界，以捕捉环境动态。

提出的方法

• 该算法采用一种新颖的自适应在线学习框架，根据所观测的反馈动态调整其探索和更新规则。
• 根据反馈模型，使用单点或两点函数评估来估计梯度，从而实现在无需完整梯度信息下的优化。
• 其关键创新在于自适应步长和探索策略，其尺度与估计的路径长度相关，避免了对$P_T$的先验知识。
• 该算法利用递归估计技术，在非平稳环境中保持对函数曲率的稳定且精确的近似。
• 理论分析结合了集中不等式和依赖路径长度的正则化，以界定动态遗憾。
• 该方法通过以适应比较序列实际变化的方式平衡探索与利用，从而实现最优遗憾。

实验结果

研究问题

• RQ1 我们能否设计一种BCO算法，在非平稳环境中实现最优动态遗憾，且无需事先知晓路径长度$P_T$？
• RQ2 在非平稳设置下，BCO在单点和两点反馈下的最优可实现动态遗憾界是什么？
• RQ3 路径长度$P_T$如何影响BCO中的动态遗憾？是否可以利用它来提升算法的自适应能力？
• RQ4 在非平稳环境中，BCO的动态遗憾是否存在根本下界？是否存在一种算法能够达到该下界？

主要发现

• 所提出的算法在单点反馈模型下实现了$O(T^{3/4}(1+P_T)^{1/2})$的动态遗憾。
• 在两点反馈模型下，该算法实现了$O(T^{1/2}(1+P_T)^{1/2})$的动态遗憾，与已知的$\\Omega(T^{1/2}(1+P_T)^{1/2})$下界一致。
• 该算法对非平稳性具有自适应性，因为它无需事先知晓路径长度$P_T$，而后者在实践中通常未知。
• 理论分析证实，该算法的性能在时间范围$T$和路径长度$P_T$上均实现最优增长，准确反映了环境动态。
• 两点反馈结果是最优的，因为上界与推导出的下界一致，从而确立了遗憾界的紧致性。
• 与以往需要路径长度知识的BCO方法相比，该方法在非平稳环境中表现出更强的鲁棒性和自适应能力。