[论文解读] Improving the Expected Improvement Algorithm

Chao Qin, Diego Klabjan+1 more|arXiv (Cornell University)|May 29, 2017

Advanced Bandit Algorithms Research参考文献 8被引用 39

一句话总结

本文提出Top-Two Expected Improvement（TTEI），一种改进的贝叶斯优化算法，通过引入基于重新定义改进度量的前两名采样策略，对标准期望改进（EI）进行了优化。TTEI在高斯最优臂识别中实现了渐近最优性，相较于标准EI，样本效率提高了整整一个数量级，并在有限的期望收敛时间内收敛至最优采样比例。

ABSTRACT

The expected improvement (EI) algorithm is a popular strategy for information collection in optimization under uncertainty. The algorithm is widely known to be too greedy, but nevertheless enjoys wide use due to its simplicity and ability to handle uncertainty and noise in a coherent decision theoretic framework. To provide rigorous insight into EI, we study its properties in a simple setting of Bayesian optimization where the domain consists of a finite grid of points. This is the so-called best-arm identification problem, where the goal is to allocate measurement effort wisely to confidently identify the best arm using a small number of measurements. In this framework, one can show formally that EI is far from optimal. To overcome this shortcoming, we introduce a simple modification of the expected improvement algorithm. Surprisingly, this simple change results in an algorithm that is asymptotically optimal for Gaussian best-arm identification problems, and provably outperforms standard EI by an order of magnitude.

研究动机与目标

• 为解决贝叶斯优化中期望改进（EI）方法过度贪婪的问题，该方法过度关注当前最优估计，而忽略了次优臂。
• 开发一种简单但有效的EI改进方法，使其在最优臂识别（BAI）问题中实现渐近最优的采样比例。
• 为新算法建立理论保证，包括收敛至最优采样比例的有限期望时间。
• 证明改进后的算法在样本复杂度和置信度提升速率方面显著优于标准EI。
• 分析算法对调参的鲁棒性，并探索自适应调参策略。

提出的方法

• 提出一种新的改进度量，结合Russo（2021）提出的前两名采样思想与改进的期望改进计算方式。
• 采用两阶段采样规则：选择期望改进最高的臂和第二高的臂，然后根据改进度量的修改版本在两者之间进行选择。
• 采用Garivier和Kaufmann（2016）推导的停止规则，以实现最优的固定置信性能。
• 理论分析基于刻画每个臂分配样本比例的渐近行为，作为真实均值的函数。
• 利用集中不等式和归纳论证，证明在高概率下，样本不足的臂集合将在有限时间内变为空集。
• 证明达到最优采样比例的期望时间是有限的，这是对先前前两名采样算法的重要技术突破。

实验结果

研究问题

• RQ1 对期望改进算法进行简单修改，是否可在最优臂识别问题中实现渐近最优性？
• RQ2 所提出的算法是否在有限期望时间内收敛至已知的最优采样比例？
• RQ3 与标准期望改进相比，改进后算法在样本效率和置信度提升速率方面的表现如何？
• RQ4 调参对算法性能有何影响？是否可实现自适应调整？
• RQ5 能否证明该算法在固定错误概率约束下最小化期望样本数量？

主要发现

• TTEI在最优臂识别问题中实现了渐近最优性，以有限的期望收敛时间收敛至已知的最优采样比例。
• 该算法在样本效率方面相较于标准EI提升了整整一个数量级。
• 当与Garivier和Kaufmann（2016）的停止规则结合使用时，TTEI在固定置信设置下被证明是最优的，可在错误选择概率约束下最小化期望样本数量。
• 达到最优采样比例的期望时间是有限的，这是此前前两名采样算法未能建立的关键理论进展。
• 该算法对调参选择表现出意外的鲁棒性，性能在广泛参数范围内保持稳定。
• 理论分析确认，随着样本数量的增长，各臂分配样本的比例以几乎必然的方式收敛至最优权重。