[论文解读] Asynchronous Parallel Empirical Variance Guided Algorithms for the Thresholding Bandit Problem

Jie Zhong, Yijun Huang+1 more|arXiv (Cornell University)|Apr 15, 2017

Advanced Bandit Algorithms Research参考文献 29被引用 6

一句话总结

本文提出了一种异步并行的经验方差引导算法（EVT 和 AP-EVT），用于阈值多臂赌博机问题，通过同时利用经验均值和方差，相较于当前最优的 ATP 算法，显著降低了轮次复杂度。所提方法实现了最优性能，并支持在未观测到奖励的情况下进行决策，显著提升了临床试验和超参数调优等延迟敏感环境中的效率。

ABSTRACT

This paper considers the multi-armed thresholding bandit problem -- identifying all arms whose expected rewards are above a predefined threshold via as few pulls (or rounds) as possible -- proposed by Locatelli et al. [2016] recently. Although the proposed algorithm in Locatelli et al. [2016] achieves the optimal round complexity in a certain sense, there still remain unsolved issues. This paper proposes an asynchronous parallel thresholding algorithm and its parameter-free version to improve the efficiency and the applicability. On one hand, the proposed two algorithms use the empirical variance to guide the pull decision at each round, and significantly improve the round complexity of the "optimal" algorithm when all arms have bounded high order moments. The proposed algorithms can be proven to be optimal. On the other hand, most bandit algorithms assume that the reward can be observed immediately after the pull or the next decision would not be made before all rewards are observed. Our proposed asynchronous parallel algorithms allow making the choice of the next pull with unobserved rewards from earlier pulls, which avoids such an unrealistic assumption and significantly improves the identification process. Our theoretical analysis justifies the effectiveness and the efficiency of proposed asynchronous parallel algorithms.

研究动机与目标

• 为解决现有赌博机算法在高延迟应用场景中需完整观测奖励后才能做出下一轮选择所导致的低效问题。
• 通过在选择动作时引入经验方差，改进最优 ATP 算法的轮次复杂度。
• 设计一种并行、异步框架，使代理能够在部分奖励观测到的情况下做出决策，从而提升可扩展性和速度。
• 开发无需参数的变体（EVT_pf 和 AP-EVT_pf），在无需事先知晓总轮次或参数的情况下仍保持理论保证。
• 在理论和实验层面验证所提算法在真实异步和延迟反馈条件下的有效性与高效性。

提出的方法

• 提出一种基于经验方差的阈值赌博机（EVT）算法，通过同时利用经验均值和方差来优先选择动作，从而降低轮次复杂度。
• 引入一种异步并行 EVT（AP-EVT）算法，实现在所有先前奖励尚未完全观测到之前即可决定下一轮动作。
• 采用测度变换技术与 Hoeffding 不等式，对 KL 散度估计进行有界处理，并推导出对动作识别的置信区间。
• 基于经验均值和方差设计阈值规则，将动作分类为高于或低于预设阈值。
• 利用集中不等式和对所有动作与轮次的并集界，推导出期望损失和识别误差的理论边界。
• 通过根据观测数据动态调整探索策略，开发无需参数的版本，从而无需事先知晓总轮次或置信水平。

实验结果

研究问题

• RQ1 与仅依赖均值的方法相比，在阈值多臂赌博机问题中，将经验方差纳入动作选择是否能降低轮次复杂度？
• RQ2 在延迟反馈条件下，异步并行设计如何影响赌博机算法的理论保证与实际效率？
• RQ3 无需事先知晓轮次数量或置信水平的情况下，基于方差引导的无参变体能否保持最优性能？
• RQ4 在并行赌博机设置中，未观测到（待处理）的奖励对轮次复杂度和错误概率有何影响？
• RQ5 在收敛速度和准确性方面，基于方差引导的算法相较于 ATP 算法在多大程度上表现更优？

主要发现

• EVT 算法的轮次复杂度显著低于 ATP 算法，尤其在方差较小时表现更优，且在高阶矩有界的条件下被证明为最优。
• AP-EVT 算法即使在存在未观测奖励的情况下，也能保持接近最优的轮次复杂度，前提是待处理奖励与已观测奖励的比例不过于占主导。
• 无参变体 EVT_pf 和 AP-EVT_pf 在无需事先知晓总轮次或置信水平的情况下，实现了与有参版本相似的理论保证。
• 实验结果表明，由于能获取额外信息，AP-EVT 和 EVT 略微优于其无参版本，但两者均保持了强劲的性能。
• 理论分析证实，期望损失被一个轮次复杂度的指数函数下界所限制，从而确立了所提算法的最优性。
• 测度变换与集中不等式技术成功界定了识别误差，证明了在异步与延迟反馈条件下的鲁棒性。