[论文解读] Multi-Armed Bandits in Metric Spaces

Robert Kleinberg, Aleksandrs Slivkins+1 more|ArXiv.org|Sep 29, 2008

Advanced Bandit Algorithms Research参考文献 12被引用 44

一句话总结

本文在度量空间中引入了利普希茨多臂赌博机（MAB）问题，其中收益函数相对于策略空间上的度量是利普希茨连续的。提出了一种自适应探索高潜在回报区域的‘Zooming算法’，其遗憾界依赖于度量的倍增维数和最优策略集的结构，对良态收益函数提供了紧密的性能保证。

ABSTRACT

In a multi-armed bandit problem, an online algorithm chooses from a set of strategies in a sequence of trials so as to maximize the total payoff of the chosen strategies. While the performance of bandit algorithms with a small finite strategy set is quite well understood, bandit problems with large strategy sets are still a topic of very active investigation, motivated by practical applications such as online auctions and web advertisement. The goal of such research is to identify broad and natural classes of strategy sets and payoff functions which enable the design of efficient solutions. In this work we study a very general setting for the multi-armed bandit problem in which the strategies form a metric space, and the payoff function satisfies a Lipschitz condition with respect to the metric. We refer to this problem as the "Lipschitz MAB problem". We present a complete solution for the multi-armed problem in this setting. That is, for every metric space (L,X) we define an isometry invariant which bounds from below the performance of Lipschitz MAB algorithms for X, and we present an algorithm which comes arbitrarily close to meeting this bound. Furthermore, our technique gives even better results for benign payoff functions.

研究动机与目标

• 解决在线学习中在大规模或无限策略集下的实际应用挑战，如在线广告和拍卖。
• 利用度量空间建模结构化收益函数，其中收益相对于策略间距离是利普希茨连续的。
• 设计一种高效的学习算法，在不事先知道最优策略位置的情况下，实现一般度量空间中接近最优的遗憾。
• 以度量空间的内在几何特性（如倍增维数和覆盖维数）来量化bandit算法的性能。
• 在保持次多项式遗憾的前提下，将结果扩展至重尾收益分布。

提出的方法

• 本文在度量空间 (L, X) 上形式化了利普希茨MAB问题，其中收益函数 μ 关于度量 L 是 1-利普希茨连续的。
• 引入了 c-zooming 维数的概念，用于捕捉策略空间相对于最优集 S 和间隙函数 Δ(u) = L(u, S) 的内在复杂性。
• Zooming 算法根据置信区间自适应选择策略，基于度量结构探索估计收益高且不确定性大的区域。
• 算法将策略空间分层划分为直径受控的集合，重点探索潜在收益高且不确定性低的区域。
• 应用非均匀 Berry-Esseen 定理处理重尾收益分布，推导出尾部界限，从而实现鲁棒的置信区间估计。
• 遗憾分析依赖于对次优策略被选择次数的上界估计，结合 c-zooming 维数和间隙函数 Δ(u) 的形状。

实验结果

研究问题

• RQ1 当收益函数关于策略间距离是利普希茨连续时，是否可以在具有不可数多个策略的度量空间中实现高效的在线学习？
• RQ2 度量空间的哪些几何特性决定了利普希茨MAB问题中遗憾的根本极限？
• RQ3 bandit算法的性能如何依赖于最优策略集的结构和间隙函数的衰减特性？
• RQ4 在重尾收益分布存在的情况下，该算法能否实现接近最优的遗憾？
• RQ5 倍增维数和覆盖维数在刻画策略空间复杂性方面起什么作用？

主要发现

• Zooming 算法的遗憾界为 O(t^{1 - 1/(1 + αd)}），其中 d 是目标集 S 的 c-覆盖维数，α 是形状函数 f(x) = x^{1/α} 的参数。
• 对于倍增维数为 d* 的度量空间，遗憾界为 (c 2^{O(d*)} log²t) t^{1 - 1/(1 + αd)}，显示出对空间几何复杂性的依赖。
• 当目标集 S 是度量空间中的低维子集时，即使环境空间是高维的，遗憾也以次多项式方式随 t 增长。
• 对于三阶矩有界的重尾收益，算法实现遗憾 R_A(t) ≤ a(t) t^{1 - 1/(3d + 6)}，其中 a(t) = O((cρ log t)^{1/(3d + 6)})，表明对非高斯噪声具有鲁棒性。
• 遗憾界在对数因子范围内是紧的，且该算法可任意接近由 MaxMinCOV(X) 不变量定义的理论下界。
• 当策略集 Y 不包含最优集 S 时，结果可推广至该情形，通过考虑 Y 到 S 的距离并定义扩展目标集 B(S, r)，其中 r = L(Y, S)。