[论文解读] BOP-Elites, a Bayesian Optimisation Approach to Quality Diversity Search with Black-Box descriptor functions

Paul R. C. Kent, Adam Gaier+2 more|arXiv (Cornell University)|Jul 18, 2023

Machine Learning and Data ClassificationComputer Science被引用 3

一句话总结

BOP-Elites 提出了一种用于质量多样性（QD）搜索的贝叶斯优化框架，通过高斯过程联合建模适应度和行为描述符，实现了在昂贵黑箱问题中的高样本效率。该方法在更少评估次数下实现了接近最优的性能，优于当前最先进的QD算法，并可通过训练的代理模型实现解集的‘扩展’。

ABSTRACT

Quality Diversity (QD) algorithms such as MAP-Elites are a class of optimisation techniques that attempt to find many high performing points that all behave differently according to a user-defined behavioural metric. In this paper we propose the Bayesian Optimisation of Elites (BOP-Elites) algorithm. Designed for problems with expensive black-box fitness and behaviour functions, it is able to return a QD solution-set with excellent final performance already after a relatively small number of samples. BOP-Elites models both fitness and behavioural descriptors with Gaussian Process (GP) surrogate models and uses Bayesian Optimisation (BO) strategies for choosing points to evaluate in order to solve the quality-diversity problem. In addition, BOP-Elites produces high quality surrogate models which can be used after convergence to predict solutions with any behaviour in a continuous range. An empirical comparison shows that BOP-Elites significantly outperforms other state-of-the-art algorithms without the need for problem-specific parameter tuning.

研究动机与目标

• 开发一种样本高效、基于原理的贝叶斯优化方法，用于昂贵黑箱适应度函数和描述符函数的质量多样性问题。
• 通过提出一种新颖的获取函数，将贝叶斯优化扩展至QD，该函数在描述符空间中平衡改进与多样性。
• 生成高质量的代理模型，用于在连续描述符空间中预测解。
• 通过利用在低分辨率解集中训练的代理模型来预测高分辨率解集，实现解集的‘扩展’。
• 在包括存在无效或不可达区域的多种QD基准上，展示优越的性能和鲁棒性。

提出的方法

• BOP-Elites 使用高斯过程（GP）代理模型，在贝叶斯优化框架中联合建模目标函数和m维描述符函数。
• 采用一种新颖的获取函数 EJIE+，源自期望改进（Expected Improvement），并针对描述符空间的子区域进行优化，同时平衡探索与利用。
• 该算法通过最大化 EJIE+ 获取函数，依次选择新点进行评估，确保对高性能和多样化区域的高效采样。
• 结构化存储器保存高性能观测结果，以与 MAP-Elites 相同的格式保留最终解集。
• 收敛后，利用训练好的 GP 代理模型生成更高分辨率描述符空间的预测图，从而实现解集的‘扩展’。
• 该方法设计为通用型，避免问题特定的超参数调优，支持黑箱和白箱描述符函数。

实验结果

研究问题

• RQ1 能否有效将基于原理的贝叶斯优化框架应用于具有昂贵黑箱适应度和描述符函数的质量多样性问题？
• RQ2 所提出的 EJIE+ 获取函数在样本效率和最终解质量方面，与现有 QD 及代理辅助方法相比表现如何？
• RQ3 在低分辨率解集中训练的代理模型，在多大程度上可用于预测更高分辨率描述符空间中的高质量解？
• RQ4 BOP-Elites 在包括存在无效或不可达区域的多种问题类型中是否保持强性能？
• RQ5 BOP-Elites 与当前最先进的 QD 算法（如 MAP-Elites、SAIL 和 SPHEN）相比，在收敛速度和最终解集质量方面表现如何？

主要发现

• 在所有测试基准中，BOP-Elites 的 QD 得分显著优于 SAIL、SPHEN 和 MAP-Elites，包括 Mishra 的鸟函数和机械臂问题。
• 在评估次数为区域数两倍的预算下，BOP-Elites 达到了接近最优的性能，表现出强大的收敛性和样本效率。
• 在 Mishra 的鸟函数上，BOP-Elites 仅用 3.05e5 次评估即获得 QD 得分为 2.93e6，优于相同预算下的 SAIL（1.31e4）和 SPHEN（7.24e4）。
• BOP-Elites 生成的代理模型可有效实现‘扩展’，如扩展变体所示，其 QD 得分为 3.33e6，成功生成了高质量的预测解。
• 由于获取函数优先选择高性能子区域，BOP-Elites 在早期停止或预算受限条件下仍能实现更快收敛并更好覆盖高性能区域。
• 该方法在具有挑战性的环境中表现出鲁棒性，包括存在无效区域的 parsec 域和存在不可达区域的机械臂问题，在所有情况下均保持了强性能。