[论文解读] Dynamic Batch Learning in High-Dimensional Sparse Linear Contextual Bandits

Zhimei Ren, Zhengyuan Zhou|arXiv (Cornell University)|Aug 27, 2020

Advanced Bandit Algorithms Research参考文献 54被引用 6

一句话总结

本文提出了一种用于高维稀疏线性上下文Bandit的动态批量学习框架，其中决策以批次形式进行，且奖励反馈具有延迟。通过使用基于LASSO的估计器和自适应批量大小，该框架建立了最小最大最优的遗憾界 $\tilde{O}(\sqrt{s_0 T})$，即使在无强制探索的无边际情况下也能实现最优性能。

ABSTRACT

We study the problem of dynamic batch learning in high-dimensional sparse linear contextual bandits, where a decision maker, under a given maximum-number-of-batch constraint and only able to observe rewards at the end of each batch, can dynamically decide how many individuals to include in the next batch (at the end of the current batch) and what personalized action-selection scheme to adopt within each batch. Such batch constraints are ubiquitous in a variety of practical contexts, including personalized product offerings in marketing and medical treatment selection in clinical trials. We characterize the fundamental learning limit in this problem via a regret lower bound and provide a matching upper bound (up to log factors), thus prescribing an optimal scheme for this problem. To the best of our knowledge, our work provides the first inroad into a theoretical understanding of dynamic batch learning in high-dimensional sparse linear contextual bandits. Notably, even a special case of our result -- when no batch constraint is present -- yields that the simple exploration-free algorithm using the LASSO estimator already achieves the minimax optimal regret bound for standard online learning in high-dimensional linear contextual bandits (for the no-margin case), a result that appears unknown in the emerging literature of high-dimensional contextual bandits.

研究动机与目标

• 为解决临床试验和个性化营销等实际应用中延迟反馈的局限性，其中决策以批次而非单个形式进行。
• 形式化并分析在最大批量约束和延迟奖励观测条件下的动态批量学习问题。
• 推导出一个基本的遗憾下界，并提供匹配的上界（对数因子内），从而证明所提方案的最优性。
• 证明即使在缺乏边际条件的情况下，简单的基于LASSO的算法也能实现最小最大最优的 $\tilde{O}(\sqrt{s_0 T})$ 遗憾，这是此前文献中未知的结果。

提出的方法

• 该算法根据对参数估计的置信度动态选择批量大小，采用基于网格的策略以平衡探索与利用。
• 使用LASSO估计器处理高维稀疏性，利用仅有 $s_0 \ll d$ 个协变量影响奖励的事实。
• 通过次高斯浓度不等式构建批次特定的置信集，以限制估计误差。
• 提出一种新颖的遗憾分解方法，将误差分离为估计误差和决策误差，并通过Chernoff不等式和最大次高斯不等式推导出高概率界。
• 通过在时间和动作上使用并集界，控制估计奖励出现大偏差的概率。
• 通过在轮次间几何增长批量大小实现自适应批量，确保获得足够数据以实现可靠估计，同时最小化遗憾。

实验结果

研究问题

• RQ1 在具有延迟反馈的动态批量学习下，高维稀疏线性上下文Bandit的基本学习极限是什么？
• RQ2 在无边际情况下，无需强制探索的简单LASSO基算法能否实现最小最大最优遗憾？
• RQ3 在动态批量约束下，遗憾如何随批次数 $M$、稀疏度 $s_0$ 和时间跨度 $T$ 变化？
• RQ4 当反馈仅在每批次结束时才可获得时，探索与利用之间的最优权衡是什么？
• RQ5 遗憾界能否在对数因子内匹配，从而证明所提方案的理论最优性？

主要发现

• 本文建立的遗憾下界与上界在对数因子内匹配，证明了所提动态批量学习方案的最优性。
• 即使在无强制探索的无边际情况下，简单的基于LASSO的算法也能实现最小最大最优的 $\tilde{O}(\sqrt{s_0 T})$ 遗憾，这是此前在高维上下文Bandit中未知的结果。
• 遗憾的上界为 $\tilde{O}\left(\frac{\sqrt{M^3 \log T \log(TK)}}{\rho(K)\gamma(K)} \sqrt{T s_0} \left(\frac{T}{s_0}\right)^{1/(2(2^M - 1))}\right)$，在对数因子内是紧的。
• 分析表明，大估计误差的概率随 $\sqrt{T s_0 / M}$ 指数衰减，从而确保高概率集中性。
• 该方法在 $s_0$、$T$ 和 $M$ 上实现了最优缩放，批量大小几何增长以平衡学习与探索。
• 推导出的遗憾界与理论下界匹配，证实了该方案在高维稀疏设定下的最优性。