[论文解读] Finite-Time Regret of Thompson Sampling Algorithms for Exponential Family Multi-Armed Bandits

Tianyuan Jin, Pan Xu+2 more|arXiv (Cornell University)|Jun 7, 2022

Advanced Bandit Algorithms Research被引用 7

一句话总结

本文提出 ExpTS，一种用于指数族多臂赌博机的 Thompson 采样算法，通过一种新颖的采样分布防止对最优臂的低估。该算法实现了与 sub-UCB 准则匹配的有限时间 regret 边界，最小最大最优性（最多 √log K 因子），以及渐近最优性，其通用的证明框架适用于多种指数族分布，包括伯努利分布、正态分布和伽马分布。

ABSTRACT

We study the regret of Thompson sampling (TS) algorithms for exponential family bandits, where the reward distribution is from a one-dimensional exponential family, which covers many common reward distributions including Bernoulli, Gaussian, Gamma, Exponential, etc. We propose a Thompson sampling algorithm, termed ExpTS, which uses a novel sampling distribution to avoid the under-estimation of the optimal arm. We provide a tight regret analysis for ExpTS, which simultaneously yields both the finite-time regret bound as well as the asymptotic regret bound. In particular, for a $K$-armed bandit with exponential family rewards, ExpTS over a horizon $T$ is sub-UCB (a strong criterion for the finite-time regret that is problem-dependent), minimax optimal up to a factor $\sqrt{\log K}$, and asymptotically optimal, for exponential family rewards. Moreover, we propose ExpTS$^+$, by adding a greedy exploitation step in addition to the sampling distribution used in ExpTS, to avoid the over-estimation of sub-optimal arms. ExpTS$^+$ is an anytime bandit algorithm and achieves the minimax optimality and asymptotic optimality simultaneously for exponential family reward distributions. Our proof techniques are general and conceptually simple and can be easily applied to analyze standard Thompson sampling with specific reward distributions.

研究动机与目标

• 为解决指数族赌博机中 Thompson 采样缺乏有限时间 regret 分析的问题，这些分布包括伯努利和正态等常见分布。
• 设计一种 Thompson 采样算法，使其同时实现与 sub-UCB 准则匹配的有限时间 regret 边界和渐近最优性。
• 通过一种新颖的采样分布改进标准 Thompson 采样，避免对最优臂的低估。
• 将理论分析扩展至一般指数族奖励分布，提出一个统一且概念简洁的证明框架。
• 提出 ExpTS+，一种任意时间算法，通过引入贪婪利用步骤，进一步防止对次优臂的高估，同时保持最优性。

提出的方法

• 提出 ExpTS，一种基于修改后采样分布的 Thompson 采样算法，以避免低估最优臂的均值。
• 提出一种基于 Kullback-Leibler 散度和经验均值集中性的新颖采样机制，以提高估计精度。
• 采用基于最大不等式和指数族分布尾部界限的证明技术，推导出紧致的 regret 边界。
• 通过在真实后验分布与代理分布之间进行离散化和比较，将连续情况下的 regret 限制在可处理范围内。
• 通过在 ExpTS 中增加一个贪婪利用步骤，设计出 ExpTS+，以防止对次优臂的高估。
• 基于 KL 散度和集中不等式的通用框架，分析指数族分布下有限时间与渐近 regret。

实验结果

研究问题

• RQ1 Thompson 采样能否在指数族赌博机中实现 sub-UCB 的有限时间 regret 边界？
• RQ2 Thompson 采样能否实现指数族奖励的渐近最优性，且能否通过有限时间分析加以证明？
• RQ3 能否通过修改采样分布，使 Thompson 采样变体避免对最优臂的低估？
• RQ4 能否设计一种任意时间赌博机算法，使其在指数族奖励下同时具备最小最大最优性和渐近最优性？
• RQ5 能否将证明技术推广至适用于广泛的指数族分布，而不仅限于伯努利或正态等特定情况？

主要发现

• ExpTS 实现了与 sub-UCB 准则匹配的有限时间 regret 边界，该边界为问题相关且对所有指数族赌博机均紧致。
• ExpTS 在最多 √log K 因子范围内达到最小最大最优性，意味着其最坏情况 regret 在所有 K-臂赌博机实例中呈 O(√(KT)) 的增长。
• ExpTS 实现了渐近最优性，满足 lim_{T→∞} R_μ(T)/log T = ∑_{i>1} (μ₁−μᵢ)/kl(μᵢ,μ₁)，即信息论下界。
• ExpTS+ 同时实现了最小最大最优性和渐近最优性，使其成为一种具有强理论保证的任意时间算法。
• 该证明框架具有通用性且概念简洁，可直接用于分析伯努利和正态等特定分布的标准 Thompson 采样。
• 分析表明，ExpTS 中新颖的采样分布能有效防止对最优臂的低估，这是标准 TS 的一个关键失效模式。