[论文解读] An Empirical Process Approach to the Union Bound: Practical Algorithms for Combinatorial and Linear Bandits

Julian Katz-Samuels, Lalit Jain+2 more|arXiv (Cornell University)|Jun 21, 2020

Advanced Bandit Algorithms Research参考文献 31被引用 20

一句话总结

本文提出了一种基于经验过程的新型方法来处理纯探索线性与组合 bandits 中的联合界问题，用基于高斯宽度的设计替代了对臂的显式联合界。所提出的算法实现了接近最优的样本复杂度，其复杂度与臂集的几何结构相关，避免了先前工作中常见的 $\log(|\mathcal{Z}|)$ 因子，并首次为归纳线性 bandits 提供了具有匹配保证的固定预算算法，其保证仅在对数因子范围内。

ABSTRACT

This paper proposes near-optimal algorithms for the pure-exploration linear bandit problem in the fixed confidence and fixed budget settings. Leveraging ideas from the theory of suprema of empirical processes, we provide an algorithm whose sample complexity scales with the geometry of the instance and avoids an explicit union bound over the number of arms. Unlike previous approaches which sample based on minimizing a worst-case variance (e.g. G-optimal design), we define an experimental design objective based on the Gaussian-width of the underlying arm set. We provide a novel lower bound in terms of this objective that highlights its fundamental role in the sample complexity. The sample complexity of our fixed confidence algorithm matches this lower bound, and in addition is computationally efficient for combinatorial classes, e.g. shortest-path, matchings and matroids, where the arm sets can be exponentially large in the dimension. Finally, we propose the first algorithm for linear bandits in the the fixed budget setting. Its guarantee matches our lower bound up to logarithmic factors.

研究动机与目标

• 消除在纯探索线性 bandits 中因对臂的朴素联合界导致的 $\log(|\mathcal{Z}|)$ 因子在样本复杂度界中的出现。
• 为组合 bandits（如最短路径、匹配、拟阵）设计一种计算高效的实验设计，其臂集呈指数级规模。
• 基于高斯宽度建立一个新下界，刻画基本的样本复杂度极限。
• 为归纳线性 bandits 首次提供具有紧密理论保证的固定预算算法。
• 在高维及组合设置下，展示算法在实验上优于现有方法。

提出的方法

• 利用 TIS 不等式建模高斯过程的上确界，并推导出最小化偏差上确界期望的实验设计。
• 基于臂集 $\mathcal{Z}$ 的高斯宽度定义一种新型实验设计目标，替代最坏情况方差最小化（如 G-最优设计）。
• 通过在分布 $\lambda \in \Delta$ 上求解一个松弛优化问题，以最小化 $\mathbb{E}_{\eta \sim N(0,I)}[\max_{z \in \mathcal{Z}_k} (\hat{z}_k - z)^\top A(\lambda)^{-1/2} \eta]$，聚焦于与当前最优臂的差异。
• 实施两步近似：先最小化期望最大偏差和 $A(\lambda)^{-1}$-度量下的最大范数，然后对所得设计进行平均。
• 使用带 $\lambda \in \Delta$ 的随机镜像下降算法计算设计，通过 2,000 个样本估计高斯宽度。
• 通过将基于置信度的停止规则替换为预算约束的推荐机制，将算法适配到固定预算设置。

实验结果

研究问题

• RQ1 能否通过用臂集的几何度量替代显式联合界，消除样本复杂度中的 $\log(|\mathcal{Z}|)$ 因子？
• RQ2 高斯宽度是否为决定纯探索线性 bandits 样本复杂度的根本量？
• RQ3 能否为组合 bandits 设计一种计算高效的算法，使其复杂度依赖于臂集的几何结构而非其规模？
• RQ4 固定预算线性 bandits 的最优实验设计是什么？其与固定置信度保证相比如何？
• RQ5 在组合与归纳设置下，所提算法在实验性能上相较于最先进基线表现如何？

主要发现

• 固定置信度算法的样本复杂度与基于高斯宽度的新下界一致，仅相差一个常数因子，且避免了 $\log(|\mathcal{Z}|)$ 损失。
• 对于最短路径、匹配和拟阵等组合类，尽管臂集呈指数级规模，该算法仍保持计算高效。
• 在双分图检测实验中，当最优与次优双分图之间的差距较小时（$h = 0.2$），所提算法（Peace）所需的样本数比 DisRegion 少了三倍以上。
• 在大多数标准设置下，固定预算算法的性能与下界仅相差 $\log(d)$ 因子。
• 在多个组合 bandits 设置中，该算法相较于现有方法性能提升一个数量级，尤其在最优与次优臂之间差距较小时表现更优。
• 在设计计算中仅使用前 $k$ 个最优臂的差异，可实现可证明有效且高效的近似，且不损失正确性。