[论文解读] An Entropy Search Portfolio for Bayesian Optimization

Bobak Shahriari, Ziyu Wang+3 more|arXiv (Cornell University)|Jun 18, 2014

Advanced Bandit Algorithms Research参考文献 36被引用 41

一句话总结

本文提出了熵搜索组合（Entropy Search Portfolio, ESP），一种基于信息论的贝叶斯优化组合元准则，其根据对全局最优解的期望信息增益来选择获取函数，而非依赖历史表现。ESP在性能上优于单一获取函数及先前的组合方法，通常超越表现最佳的组成策略，并对表现较差的专家具有鲁棒性。

ABSTRACT

Bayesian optimization is a sample-efficient method for black-box global optimization. How- ever, the performance of a Bayesian optimization method very much depends on its exploration strategy, i.e. the choice of acquisition function, and it is not clear a priori which choice will result in superior performance. While portfolio methods provide an effective, principled way of combining a collection of acquisition functions, they are often based on measures of past performance which can be misleading. To address this issue, we introduce the Entropy Search Portfolio (ESP): a novel approach to portfolio construction which is motivated by information theoretic considerations. We show that ESP outperforms existing portfolio methods on several real and synthetic problems, including geostatistical datasets and simulated control tasks. We not only show that ESP is able to offer performance as good as the best, but unknown, acquisition function, but surprisingly it often gives better performance. Finally, over a wide range of conditions we find that ESP is robust to the inclusion of poor acquisition functions.

研究动机与目标

• 解决贝叶斯优化中获取函数选择的挑战，其中不同问题实例上的性能差异显著且事先未知。
• 克服依赖历史表现度量的组合方法的局限性，这些度量在选择多样化获取策略时可能具有误导性。
• 开发一种对表现较差或性能下降的获取函数具有鲁棒性的元准则，同时在多样化优化问题中保持高性能。
• 通过引入对目标函数代表性最小值的系统性采样方法，将Thompson采样扩展至连续域。
• 通过在真实世界和合成问题上的实证评估，包括地质统计数据集和控制任务，证明所提方法具有优越且鲁棒的性能。

提出的方法

• ESP基于信息论原理构建组合元准则，具体为最大化关于全局最小值后验分布的熵的期望减少量。
• 该方法使用对后验分布 $ p( extbf{x}_ ext{star}| ext{D}) $ 的候选最小值的近似采样，借鉴Rahimi和Recht（2007）的方法，以实现连续空间中的Thompson采样。
• 其采用子程序生成近似潜在全局最优解的代表性点（代表点），使组合能够评估每种候选获取函数的信息增益。
• 元准则选择能最大化关于全局最小值位置的期望信息增益的获取函数，而非依赖历史表现或启发式度量。
• 该方法被整合进贝叶斯优化循环中，每次迭代通过组合的元准则选择下一个评估点，该准则基于信息增益动态选择表现最佳的获取函数。
• 该方法在多种基准上进行了评估，包括合成函数、地质统计数据集（Brenda和Agromet）以及控制任务（Walker和Repeller），并与现有组合方法及单一获取函数进行了比较。

实验结果

研究问题

• RQ1 基于信息论的元准则是否能在贝叶斯优化中优于依赖历史表现的组合方法？
• RQ2 所提出的熵搜索组合（ESP）是否在多样化优化问题中实现与未知最佳获取函数相当或更优的性能？
• RQ3 ESP对组合中包含表现较差或性能下降的获取函数的鲁棒性如何？
• RQ4 能否通过系统性采样代表性最小值，有效将Thompson采样扩展至连续域？
• RQ5 ESP在不同维度和结构的问题中是否保持强性能，包括非光滑或锯齿状目标函数？

主要发现

• 在地质统计数据集Brenda和Agromet上，ESP优于所有基线组合方法，包括RP和GPHedge，且在两个数据集上均取得最佳性能。
• 在Brenda数据集上，ESP显著优于所有其他方法，包括表现最佳的单一获取函数（Thompson采样），表明其可超越其最佳组成策略的性能。
• 在Repeller控制任务中，ESP与最佳方法（RP）表现相当，同时展现出对差专家更强的鲁棒性，表现为在引入差获取函数时性能下降极小。
• ESP9（包含九种获取函数，包括表现差的）的性能几乎与ESP相当，表明其对包含次优专家具有极强的鲁棒性。
• 所提出的全局最小值代表点采样方法实现了Thompson采样向连续空间的系统性扩展，该方法经实证验证有效，且在优化中表现良好。
• 在Walker控制任务中，ESP是表现最佳的组合方法，而GPHedge表现较差，凸显了该方法在复杂高维问题中的适应能力。