[论文解读] Best-Arm Identification in Linear Bandits

Marta Soare, Alessandro Lazaric+1 more|arXiv (Cornell University)|Sep 22, 2014

Advanced Bandit Algorithms Research参考文献 18被引用 74

一句话总结

该论文提出了线性 bandits中最佳臂识别的自适应采样策略，利用线性结构以最小化样本复杂度。它引入了$\mathcal{X}\mathcal{Y}$-自适应算法，通过动态分配样本以减少最具区分性的方向上的不确定性，实现了接近最优的性能，且所需样本预算显著低于静态方法和完全自适应方法，尤其在高维设置下表现更优。

ABSTRACT

We study the best-arm identification problem in linear bandit, where the rewards of the arms depend linearly on an unknown parameter $θ^*$ and the objective is to return the arm with the largest reward. We characterize the complexity of the problem and introduce sample allocation strategies that pull arms to identify the best arm with a fixed confidence, while minimizing the sample budget. In particular, we show the importance of exploiting the global linear structure to improve the estimate of the reward of near-optimal arms. We analyze the proposed strategies and compare their empirical performance. Finally, as a by-product of our analysis, we point out the connection to the $G$-optimality criterion used in optimal experimental design.

研究动机与目标

• 在固定置信度设置下，刻画线性 bandits 中最佳臂识别的问题依赖性复杂度。
• 设计高效的样本分配策略，以最小化在高概率下识别最优臂所需的拉取次数。
• 利用奖励的全局线性结构，提升对近似最优臂的估计精度，超越标准多臂 bandits 方法。
• 建立最佳臂识别与最优实验设计之间的联系，特别是G-最优性准则。
• 展示完全自适应策略在高维设置下的局限性，并提出一种分阶段、自适应的替代方案，以避免维度惩罚。

提出的方法

• 提出一种新颖的$\mathcal{X}\mathcal{Y}$-分配策略，根据候选臂与最优臂之间的差异选择臂，聚焦于最能减少间隙估计不确定性的方向。
• 引入$\mathcal{X}\mathcal{Y}$-自适应算法，一种分阶段方法，利用历史观测结果优先在最具信息量的方向上采样，避免在所有维度上均匀估计。
• 利用最优实验设计中的G-最优性准则指导样本分配，最小化最优臂间隙方向上的最大预测方差。
• 采用基于置信区间边界停止规则，确保错误概率被控制在$\delta$以内，实现$(\epsilon,\delta)$-PAC保证，其中$\epsilon=0$。
• 分析所提策略的样本复杂度，并推导出依赖于最小间隙$\Delta_{\min}$和臂集几何结构的理论边界。
• 采用两阶段初始化：首先对每个标准基向量对应的臂执行一次拉取，以构建初始设计矩阵，随后基于当前不确定性进行自适应采样。

实验结果

研究问题

• RQ1 线性 bandits 中最佳臂识别的样本复杂度如何依赖于臂集的几何结构以及最优臂与次优臂之间的最小间隙？
• RQ2 与标准多臂 bandits 策略相比，能否利用奖励的全局线性结构来降低样本复杂度？
• RQ3 最优实验设计准则（特别是G-最优性）在指导最佳臂识别的高效采样中扮演何种角色？
• RQ4 为何完全自适应采样策略在高维设置下会遭受$\sqrt{d}$的惩罚，以及如何克服这一问题？
• RQ5 $\mathcal{X}\mathcal{Y}$-自适应算法如何通过动态聚焦于最具区分性的方向，实现接近最优的性能？

主要发现

• $\mathcal{X}\mathcal{Y}$-自适应算法的样本复杂度在维度增加时仍保持有利的缩放特性，几乎不随维度增加而上升，而静态策略则遭受$\sqrt{d}$的惩罚。
• 在高维设置下（$d=10$），$\mathcal{X}\mathcal{Y}$-自适应将所需采样预算降低了数量级，显著优于静态$\mathcal{X}\mathcal{Y}$和基于G-最优性的策略。
• 该算法在少数阶段内即可识别出最具信息量的方向（例如，$\tilde{y} = x_1 - x_{d+1}$），从而实现对关键间隙方向的针对性采样，迅速降低不确定性。
• $\mathcal{X}\mathcal{Y}$-自适应策略优于完全自适应算法，因其分阶段结构避免了理论边界中阻碍高维性能的$\sqrt{d}$项。
• 与G-最优性的联系得到形式化：G-分配策略最小化最大预测方差，为线性 bandits 中高效采样提供了理论基础。
• 实验结果表明，$\mathcal{X}\mathcal{Y}$-自适应在高维问题中几乎完全复现了已知最具信息量方向的“最优”算法性能，尤其在高维场景下表现优异。