[论文解读] Empirical Bayes Regret Minimization

Chih‐Wei Hsu, Branislav Kveton+3 more|arXiv (Cornell University)|Apr 4, 2019

Advanced Bandit Algorithms Research参考文献 48被引用 7

一句话总结

本文提出经验贝叶斯后悔最小化方法，通过在采样问题实例分布上最小化平均后悔来调整上下文Bandit算法的超参数。利用一种新颖且样本高效的算法NoTeS，该方法在多臂、线性和广义线性Bandit中实现了高达四倍的贝叶斯后悔减少，其核心在于利用可调参数中后悔的单峰行为特性。

ABSTRACT

Most bandit algorithm designs are purely theoretical. Therefore, they have strong regret guarantees, but also are often too conservative in practice. In this work, we pioneer the idea of algorithm design by minimizing the empirical Bayes regret, the average regret over problem instances sampled from a known distribution. We focus on a tractable instance of this problem, the confidence interval and posterior width tuning, and propose an efficient algorithm for solving it. The tuning algorithm is analyzed and evaluated in multi-armed, linear, and generalized linear bandits. We report several-fold reductions in Bayes regret for state-of-the-art bandit algorithms, simply by optimizing over a small sample from a distribution.

研究动机与目标

• 解决理论上最优但过于保守的Bandit算法与其实际性能之间的差距。
• 提出一种实用的替代方案，以替代最坏情况下的后悔优化，转而通过问题实例分布上的平均后悔最小化来实现。
• 设计一种计算高效的算法，用于调整关键超参数，如置信区间和后验宽度。
• 在结构化Bandit设置（包括线性和广义线性Bandit）中对方法进行实证验证。
• 证明经验贝叶斯后悔最小化可带来显著的性能提升，且无需对问题实例分布施加强假设。

提出的方法

• 该方法将Bandit算法调优建模为经验贝叶斯后悔最小化，目标是在从已知分布中采样的有限问题实例集合上最小化平均后悔。
• 聚焦于两个可处理的调优问题：UCB和Thompson采样算法中置信区间宽度与后验宽度的调整。
• 所提出的NoTeS算法利用可调参数中后悔的单峰结构，通过无导数、迭代式的搜索策略高效定位近似最优设置。
• NoTeS采用固定预算设置，并基于采样问题实例上的后悔评估实施线性搜索策略，确保样本和计算效率。
• 在固定预算设置下对算法进行了理论分析，证明在单峰性假设下具有收敛性保证。
• 实证评估通过从已知分布中采样问题实例，并在使用NoTeS调优前后测量贝叶斯后悔。

实验结果

研究问题

• RQ1 是否可以通过经验贝叶斯后悔最小化方法调优Bandit算法超参数，从而在多样化的Bandit设置中显著降低平均后悔？
• RQ2 调优后的Bandit算法后悔是否在可调参数上表现出单峰行为，从而支持高效优化？
• RQ3 与现有调优基线（如序列减半法）相比，所提出的NoTeS算法在后悔减少和样本效率方面表现如何？
• RQ4 经验贝叶斯后悔最小化在多臂、线性和广义线性Bandit中，对最先进的算法（如LinUCB和LinTS）能带来多大程度的性能提升？
• RQ5 该方法在仅能获取有限样本的问题实例分布下是否仍能有效应用，且无需强先验假设？

主要发现

• 使用NoTeS算法调优LinUCB和LinTS，即使仅采样50个问题实例，其贝叶斯后悔相比未调优基线最高可减少四倍。
• 在采样1000个实例的预算下，调优后算法的贝叶斯后悔接近理论最小值，表明其具有强收敛性和有效性。
• 在所有测试设置中，后悔景观均保持一致的单峰性，验证了NoTeS算法所依赖的核心假设。
• NoTeS算法在计算开销极低的前提下实现了显著的后悔减少，且在后悔减少和样本效率方面均优于序列减半法等基线调优方法。
• 经验贝叶斯后悔最小化在多臂、线性和广义线性Bandit中均带来了可测量的性能提升，证明了其广泛适用性。
• 结果表明，由于可调参数中后悔的平滑性，基于梯度的贝叶斯后悔优化可能具有可行性，为未来调优方法开辟了新方向。