[论文解读] A Finite-Time Analysis of Multi-armed Bandits Problems with Kullback-Leibler Divergences

Odalric-Ambrym Maillard, Rémi Munos+1 more|arXiv (Cornell University)|May 29, 2011

Advanced Bandit Algorithms Research参考文献 14被引用 121

一句话总结

本文针对具有有限支撑的分布，提出了基于Kullback-Leibler（KL）散度的多臂赌博机算法的有限时间分析，实现了渐近最优的后悔边界。该方法利用KL散度平衡探索与利用，分析表明其有限时间后悔边界比UCB类算法更紧致，主要项与Burnetas和Katehakis（1996）的渐近下界一致。

ABSTRACT

We consider a Kullback-Leibler-based algorithm for the stochastic multi-armed bandit problem in the case of distributions with finite supports (not necessarily known beforehand), whose asymptotic regret matches the lower bound of \cite{Burnetas96}. Our contribution is to provide a finite-time analysis of this algorithm; we get bounds whose main terms are smaller than the ones of previously known algorithms with finite-time analyses (like UCB-type algorithms).

研究动机与目标

• 为基于KL散度的赌博机算法提供有限时间后悔分析，使其达到渐近最优。
• 弥合随机多臂赌博机中渐近最优性与有限时间性能之间的差距。
• 通过利用KL散度和K-inf散度度量，改进现有UCB类算法的有限时间边界。
• 证明该算法对次优臂的期望抽取次数在对数项范围内与渐近下界一致。
• 将分析扩展至具有有限支撑的分布，包括支撑在事前未知的情况下。

提出的方法

• 该算法利用臂分布与最优分布之间的Kullback-Leibler散度来指导探索与利用的权衡。
• 基于均值至少为μ*的分布集合上KL散度的下确界，定义置信边界，记为$\mathcal{K}_{\inf}(\nu_a, \mu^*)$。
• 该方法应用Sanov定理和类型法来界定观察到次优臂的样本均值偏离其真实均值的概率。
• 关键步骤涉及使用函数$\theta_a(\gamma)$对次优臂样本均值超过阈值的概率尾部进行有界控制，其中$\theta_a(\gamma)$被定义为到所有均值至少为$\mu^*$的分布的KL散度下确界。
• 分析采用非渐近版本的Sanov定理来控制偏离概率，确保有限时间内的集中界限。
• 证明显示，当$k$超过某一阈值时，$\theta_a(\gamma_k)$保持远离零，从而保证后悔边界尾部和的几何衰减。

实验结果

研究问题

• RQ1 基于KL的赌博机算法能否在有限支撑分布下，实现与Burnetas和Katehakis（1996）渐近下界一致的有限时间后悔边界？
• RQ2 在后悔边界的乘法常数方面，$\mathcal{K}_{\inf}$-基算法的有限时间性能与UCB类算法相比如何？
• RQ3 在何种条件下，函数$\theta_a(\gamma)$保持为正且远离零，从而确保尾部概率的指数衰减？
• RQ4 类型法与非渐近Sanov定理能否有效应用于推导基于KL的赌博机策略的有限时间边界？
• RQ5 将此分析扩展至一般（非有限支撑）分布时存在哪些局限性？

主要发现

• 该算法实现了有限时间后悔边界，其中主要项与Burnetas和Katehakis（1996）的渐近下界一致，且任意次优臂$a$的抽取次数满足$\mathbb{E}[N_T(a)] \leq \left(\frac{1}{\mathcal{K}_{\inf}(\nu_a, \mu^*)} + o(1)\right)\log T$。
• 后悔边界的主项小于UCB类算法，后者依赖于$\Delta_a^{-2}$，而本方法依赖于$\mathcal{K}_{\inf}(\nu_a, \mu^*)$，该值通常更大，从而导致更紧的边界。
• 分析证明，当$k$超过某一阈值$k_0$时，$\theta_a(\gamma_k)$保持远离零，从而确保后悔贡献尾部和的指数衰减。
• 该方法建立了对和$\sum_{k=1}^{T-|\mathcal{A}|} e^{-k\theta_a(\gamma_k)}$的有限上界，这对控制次优臂被抽取的概率至关重要。
• 证明依赖于Pinsker不等式以及对$\mathcal{K}_{\inf}$散度的精细化分析，以表明当$\gamma_k < \mathcal{K}_{\inf}(\nu_a, \mu^*)$时，$\theta_a(\gamma_k)$保持远离零。
• 该分析适用于具有有限支撑的分布，包括支撑未知的情况，且在这些条件下方法依然稳健。