[论文解读] Efficient Exploration in Binary and Preferential Bayesian Optimization

Tristan Fauvel, Matthew Chalk|arXiv (Cornell University)|Oct 18, 2021

Gaussian Processes and Bayesian Inference参考文献 23被引用 8

一句话总结

本文提出了一种在二元和偏好贝叶斯优化中实现高效探索的系统性方法，通过区分认知不确定性（关于目标函数的不确定性）和随机不确定性（来自噪声二元观测的不确定性）。通过设计优先选择高认知但低随机不确定性的区域的获取函数，该方法在保持计算高效的同时，优于现有最先进启发式方法，并可扩展至批量设置。

ABSTRACT

Bayesian optimization (BO) is an effective approach to optimize expensive black-box functions, that seeks to trade-off between exploitation (selecting parameters where the maximum is likely) and exploration (selecting parameters where we are uncertain about the objective function). In many real-world situations, direct measurements of the objective function are not possible, and only binary measurements such as success/failure or pairwise comparisons are available. To perform efficient exploration in this setting, we show that it is important for BO algorithms to distinguish between different types of uncertainty: epistemic uncertainty, about the unknown objective function, and aleatoric uncertainty, which comes from noisy observations and cannot be reduced. In effect, only the former is important for efficient exploration. Based on this, we propose several new acquisition functions that outperform state-of-the-art heuristics in binary and preferential BO, while being fast to compute and easy to implement. We then generalize these acquisition rules to batch learning, where multiple queries are performed simultaneously.

研究动机与目标

• 解决二元和偏好贝叶斯优化中探索效率低下的问题，其中标准获取函数混淆了不同类型的不确定性。
• 通过区分可减少的认知不确定性与不可减少的随机不确定性，提升二元观测下的优化效率。
• 开发快速、可解析计算的获取函数，优先探索高认知不确定性但观测噪声低的区域。
• 将方法推广至批量学习场景，即同时进行多个查询，避免相关联、欠探索的选择。
• 在基准测试中超越现有最先进方法，如双变量期望改进（bivariate EI）、双人汤普森采样（Duel Thompson Sampling）和核自适应采样（KernelSelfSparring）。

提出的方法

• 将总不确定性分解为认知和随机两部分，利用高斯过程分类中认知不确定性的解析表达式。
• 构建获取函数，以最大化认知不确定性同时最小化随机不确定性，确保探索仅发生在信息量丰富的区域。
• 对于二元贝叶斯优化，获取函数基于伯努利观测概率的方差 $\mathbb{V}_{p(f|\mathscr{D})}[\Phi(f(\boldsymbol{x}))]$ 推导，该值可进行解析计算。
• 对于偏好贝叶斯优化，方法首先基于期望效用选择第一个对战成员（利用），再基于认知不确定性选择第二个（探索），优于汤普森采样和双变量EI。
• 批量扩展版本同时基于单一探索标准选择批量中除一个以外的所有成员，降低相关性并提升覆盖度。
• 采用高斯过程先验结合拉普拉斯近似或期望传播（EP）近似，实现高效的后验推断与获取函数计算。

实验结果

研究问题

• RQ1 如何通过区分认知不确定性和随机不确定性来改进二元贝叶斯优化中的探索？
• RQ2 是否可以通过优先考虑认知不确定性并避开高随机不确定性的获取函数，实现BBO和PBO中更快的收敛？
• RQ3 在偏好贝叶斯优化中，所提方法与现有最先进获取函数（如双变量EI和双人汤普森采样）相比表现如何？
• RQ4 探索策略能否推广至批量学习，而不会引入相关联、冗余的查询？
• RQ5 在观测空间而非潜在空间中操作，是否能在二元和偏好贝叶斯优化中带来更好的性能？

主要发现

• 所提出的获取函数在二元和偏好贝叶斯优化中均优于现有最先进启发式方法，尤其在减少对局部极大值的过度利用方面表现突出。
• 在基准函数上，该方法在优化性能上优于双变量EI和双人汤普森采样，收敛更快且样本效率更高。
• 认知不确定性方差的解析推导实现了快速且稳定的计算，避免了先前工作中昂贵的蒙特卡洛近似。
• 批量获取规则通过基于探索标准同时选择除一个外的所有成员，降低了查询相关性，相比独立采样方法提升了覆盖度。
• 实证结果表明，定义在潜在空间中的获取函数常因观测中高置信度而造成次优探索，该缺陷被所提方法有效纠正。
• 该方法在批量偏好贝叶斯优化中具有良好的泛化能力，通过避免相关选择并实现更丰富的探索，优于KernelSelfSparring及基于TS的批量方法。