[论文解读] Bandit Online Learning with Unknown Delays

Bingcong Li, Tianyi Chen+1 more|arXiv (Cornell University)|Jul 9, 2018

Advanced Bandit Algorithms Research参考文献 32被引用 11

一句话总结

本文针对多臂赌博机（MAB）和赌博机凸优化（BCO）设置下未知且对抗性延迟的bandit在线学习问题，提出了DEXP3和DBGD算法。通过引入新颖的有偏且确定性的梯度估计器以处理延迟反馈，分别实现了$\mathcal{O}(\sqrt{K\bar{d}(T+D)})$和$\mathcal{O}(\sqrt{K(T+D)})$的遗憾边界，其中$\bar{d}$为最大延迟，$D$为$T$轮内的总延迟。

ABSTRACT

This paper deals with bandit online learning problems involving feedback of unknown delay that can emerge in multi-armed bandit (MAB) and bandit convex optimization (BCO) settings. MAB and BCO require only values of the objective function involved that become available through feedback, and are used to estimate the gradient appearing in the corresponding iterative algorithms. Since the challenging case of feedback with \emph{unknown} delays prevents one from constructing the sought gradient estimates, existing MAB and BCO algorithms become intractable. For such challenging setups, delayed exploration, exploitation, and exponential (DEXP3) iterations, along with delayed bandit gradient descent (DBGD) iterations are developed for MAB and BCO, respectively. Leveraging a unified analysis framework, it is established that the regret of DEXP3 and DBGD are ${\cal O}\big( \sqrt{K\bar{d}(T+D)} \big)$ and ${\cal O}\big( \sqrt{K(T+D)} \big)$, respectively, where $\bar{d}$ is the maximum delay and $D$ denotes the delay accumulated over $T$ slots. Numerical tests using both synthetic and real data validate the performance of DEXP3 and DBGD.

研究动机与目标

• 解决在非随机多臂赌博机（MAB）和赌博机凸优化（BCO）设置下，延迟未知且由对手选择时的延迟反馈挑战。
• 设计一种能考虑未知延迟的鲁棒梯度估计器，克服标准无偏估计器在延迟反馈场景下的不适用性。
• 构建统一的理论分析框架，为未知延迟下的MAB与BCO建立遗憾边界。
• 通过在合成数据与真实数据上的数值实验，验证所提算法的性能。

提出的方法

• 为MAB引入细粒度的有偏梯度估计器以处理未知延迟，使在延迟反馈下仍能实现可靠的梯度估计。
• 为BCO设计确定性梯度估计器，在未知延迟下保持估计精度，替代标准的近似无偏估计器。
• 提出DEXP3算法用于延迟的非随机MAB，结合加权探索与利用策略，并处理延迟反馈。
• 提出DBGD算法用于延迟的BCO，采用改进的梯度下降方案，结合延迟的梯度估计。
• 采用统一的理论框架，基于光滑性与Lipschitz连续性假设，对两种场景的遗憾进行上界分析。
• 通过分析延迟累积效应与梯度估计误差的累积影响，利用时间槽上的求和与延迟累积，推导遗憾边界。

实验结果

研究问题

• RQ1 当反馈延迟且延迟未知并由对手选择时，bandit在线学习算法能否保持较低遗憾？
• RQ2 在MAB与BCO设置下，当缺乏已知延迟时，如何构建可靠的梯度估计？
• RQ3 在延迟bandit学习中，延迟、时间范围与遗憾之间的基本权衡是什么？
• RQ4 能否构建统一的理论框架，以分析未知延迟下的MAB与BCO？
• RQ5 在延迟环境下，所提算法DEXP3与DBGD相较于现有方法在遗憾与鲁棒性方面表现如何？

主要发现

• DEXP3算法实现了$\mathcal{O}(\sqrt{K\bar{d}(T+D)})$的遗憾边界，其中$\bar{d}$为最大延迟，$D$为$T$轮内的总延迟。
• DBGD算法实现了$\mathcal{O}(\sqrt{K(T+D)})$的遗憾边界，该边界与最大延迟$\bar{d}$无关，表明在BCO中具有更高的鲁棒性。
• DEXP3中提出的有偏梯度估计器能有效处理MAB中的未知延迟，使在延迟反馈下仍能实现稳定学习。
• DBGD中的确定性梯度估计器确保在BCO中面对未知且对抗性延迟时，仍能实现精确的梯度近似。
• 在合成数据与真实数据上的数值实验表明，DEXP3与DBGD在延迟反馈环境中优于基线方法。
• 统一的分析框架成功捕捉了延迟累积与最大延迟对遗憾的影响，提供了可推广的理论基础。