[论文解读] Joint Entropy Search for Maximally-Informed Bayesian Optimization

Carl Hvarfner, Frank Hutter+1 more|arXiv (Cornell University)|Jun 9, 2022

Advanced Bandit Algorithms Research被引用 7

一句话总结

本文提出联合熵搜索（Joint Entropy Search, JES），一种新颖的信息论采集函数，用于贝叶斯优化，该方法联合建模最优输入与最优输出的不确定性，利用幻想最优配对带来的熵减少。通过依赖标准高斯过程工具并避免复杂近似，JES在计算开销极低的情况下实现了最先进性能，在多种优化任务中优于MES、PES和EI。

ABSTRACT

Information-theoretic Bayesian optimization techniques have become popular for optimizing expensive-to-evaluate black-box functions due to their non-myopic qualities. Entropy Search and Predictive Entropy Search both consider the entropy over the optimum in the input space, while the recent Max-value Entropy Search considers the entropy over the optimal value in the output space. We propose Joint Entropy Search (JES), a novel information-theoretic acquisition function that considers an entirely new quantity, namely the entropy over the joint optimal probability density over both input and output space. To incorporate this information, we consider the reduction in entropy from conditioning on fantasized optimal input/output pairs. The resulting approach primarily relies on standard GP machinery and removes complex approximations typically associated with information-theoretic methods. With minimal computational overhead, JES shows superior decision-making, and yields state-of-the-art performance for information-theoretic approaches across a wide suite of tasks. As a light-weight approach with superior results, JES provides a new go-to acquisition function for Bayesian optimization.

研究动机与目标

• 解决现有信息论贝叶斯优化方法的局限性，如依赖复杂近似及对噪声或目标结构的限制性假设。
• 开发一种更全面的信息论采集函数，捕捉输入空间与输出空间的联合不确定性，而非分别处理。
• 通过同时纳入最优解的位置及其真实最优值，改进贝叶斯优化中的决策制定，提升信息增益估计的准确性。
• 在不依赖复杂近似的情况下，提供一种计算高效的熵搜索与预测熵搜索的替代方案，同时保持非贪心、信息论的优势。
• 提供一种鲁棒、轻量且高性能的采集函数，适用于噪声大、高维的黑箱优化问题。

提出的方法

• JES基于最优输入与最优输出对的联合概率密度的熵，提出一种新的采集函数。
• 通过条件化于幻想的最优输入-输出对来计算期望信息增益，衡量联合熵的减少量。
• 该方法利用标准高斯过程推理，避免了熵搜索与预测熵搜索中常见的复杂蒙特卡洛近似。
• 将最优观测建模为输入与输出的联合分布，从而支持更准确且更具信息量的查询。
• 采集函数通过条件化于这些幻想的最优对所引起的熵减少量推导得出，这些幻想对从后验预测分布中采样得到。
• 该方法设计为计算高效，仅依赖标准GP运算，且预计算需求极低。

实验结果

研究问题

• RQ1 在贝叶斯优化中联合建模输入与输出不确定性，是否能比分别建模带来更好的信息增益估计？
• RQ2 能否在不依赖复杂近似的情况下，实现一种完全非贪心、信息论驱动的采集函数，且计算高效？
• RQ3 同时纳入最优输入与无噪声最优值，是否能提升黑箱优化中的决策制定与收敛性能？
• RQ4 所提出的基于联合熵的采集函数与现有最先进方法（如MES、PES和EI）相比，在样本效率与性能方面表现如何？
• RQ5 在噪声较大的环境中，当以往方法（如MES）因后验假设错误而失效时，该方法是否仍能保持鲁棒性与有效性？

主要发现

• JES在广泛基准任务中，包括超参数调优与机器人控制，均实现了信息论贝叶斯优化方法中的最先进性能。
• 在MLP超参数调优任务的HPOBench基准套件中，JES在全部六个任务上均优于MES，且性能匹配或超过EI，尤其在早期迭代中展现出更优的决策能力。
• 在收敛速度与最终解质量方面，JES显著优于PES，并与EI持平或超越，尤其在噪声环境中表现突出。
• 与其它信息论方法相比，JES的计算开销极低，主要依赖标准GP工具，无需复杂近似。
• 结合所提出的γ-利用策略，JES在模型误设情况下表现出鲁棒性，该策略有助于检测并适应不良模型假设。
• 在无噪声环境中，通过添加一个微小噪声项（该噪声在标准GP框架中通常可得），可使JES稳定，从而具备广泛适用性。