[论文解读] Adaptive Rate of Convergence of Thompson Sampling for Gaussian Process Optimization

Kinjal Basu, Souvik Ghosh|arXiv (Cornell University)|May 18, 2017

Advanced Bandit Algorithms Research参考文献 32被引用 4

一句话总结

该论文首次在连续域的高斯过程优化中建立了 Thompson Sampling 的自适应收敛速率，证明了序列估计值 $\bm{x}^t$ 以指数速率收敛至全局最大值点 $\bm{x}^*$，且衰减速率自适应地依赖于函数的尖锐度参数 $\delta_\epsilon$。该结果在正则性条件下成立，并为算法的收敛行为提供了非渐近浓度边界。

ABSTRACT

We consider the problem of global optimization of a function over a continuous domain. In our setup, we can evaluate the function sequentially at points of our choice and the evaluations are noisy. We frame it as a continuum-armed bandit problem with a Gaussian Process prior on the function. In this regime, most algorithms have been developed to minimize some form of regret. In this paper, we study the convergence of the sequential point $x^t$ to the global optimizer $x^*$ for the Thompson Sampling approach. Under some assumptions and regularity conditions, we prove concentration bounds for $x^t$ where the probability that $x^t$ is bounded away from $x^*$ decays exponentially fast in $t$. Moreover, the result allows us to derive adaptive convergence rates depending on the function structure.

研究动机与目标

• 分析在存在噪声函数评估的连续域贝叶斯优化中，Thompson Sampling 的收敛速率。
• 为采样点序列 $\bm{x}^t$ 向全局最大值点 $\bm{x}^*$ 的收敛行为建立非渐近浓度边界。
• 刻画收敛速率如何通过尖锐度参数 $\delta_\epsilon$ 适应底层函数的内在结构。
• 为 Thompson Sampling 在全局优化任务中表现出的实证成功提供理论依据，其中与遗憾最小化相比，点收敛更为关键。

提出的方法

• 将全局优化问题建模为具有高斯过程先验的连续臂老虎机问题，其中未知函数 $f$ 服从该先验。
• 分析 Thompson Sampling 算法，即在每一步 $t$，从 $f$ 的后验分布中采样点 $\bm{x}^t$。
• 推导浓度边界，表明在正则性条件下，概率 $\|\bm{x}^t - \bm{x}^*\| > \epsilon$ 随 $t$ 呈指数衰减。
• 引入尖锐度参数 $\delta_\epsilon$ 以量化最优值附近的局部曲率，该参数决定了收敛速率。
• 采用基于后验收缩和浓度不等式的新型证明技术，建立指数衰减速率。
• 将分析扩展至 Thompson Sampling 的批量模式变体，通过模拟验证其在实际应用中的高效性。

实验结果

研究问题

• RQ1 在连续域贝叶斯优化中，Thompson Sampling 收敛至全局最大值点的速率是多少？
• RQ2 收敛速率如何依赖于未知函数的结构性质（如其局部曲率）？
• RQ3 在高斯过程先验下，能否为 Thompson Sampling 中采样点序列 $\bm{x}^t$ 建立非渐近浓度边界？
• RQ4 收敛速率是否对函数的尖锐度具有自适应性？如果是，其数学表达方式如何？
• RQ5 观测噪声的存在如何影响收敛速度？该影响能否被量化？

主要发现

• 在正则性条件下，采样点 $\bm{x}^t$ 与全局最大值点 $\bm{x}^*$ 保持距离超过 $\epsilon$ 的概率随 $t$ 呈指数快速衰减。
• 收敛速率具有自适应性，且依赖于捕捉最优值附近函数局部曲率的尖锐度参数 $\delta_\epsilon$。
• 对于更平坦的函数（$\delta_\epsilon$ 较小），收敛速率减慢，证实了更复杂的优化景观导致收敛更慢。
• 模拟结果表明，对于峰值显著性更高且观测噪声更小（$\sigma$）的函数，收敛速度更快。
• Thompson Sampling 的批量模式变体在实际中实现了更快的收敛，使得在相同时间预算内可并行探索更多区域。
• 该理论框架为使用相同证明技术推导其他 UCB 类算法的自适应收敛速率奠定了基础。