[论文解读] BOP-Elites, a Bayesian Optimisation algorithm for Quality-Diversity search

Paul R. C. Kent, Jürgen Branke|arXiv (Cornell University)|May 8, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 13被引用 6

一句话总结

本文提出 BOP-Elites，一种贝叶斯优化算法，通过使用高斯过程联合建模目标函数与特征函数，以高效识别每个预定义行为类群中的最优解。通过采用一种新颖的获取函数，该函数在预期改进与类群概率之间实现平衡，BOP-Elites 在收敛速度和样本效率方面均优于轮转法或独立优化基线方法，在平均第 13 次迭代时即达到近似最优解。

ABSTRACT

Quality Diversity (QD) algorithms such as MAP-Elites are a class of optimisation techniques that attempt to find a set of high-performing points from an objective function while enforcing behavioural diversity of the points over one or more interpretable, user chosen, feature functions. In this paper we propose the Bayesian Optimisation of Elites (BOP-Elites) algorithm that uses techniques from Bayesian Optimisation to explicitly model both quality and diversity with Gaussian Processes. By considering user defined regions of the feature space as 'niches' our task is to find the optimal solution in each niche. We propose a novel acquisition function to intelligently choose new points that provide the highest expected improvement to the ensemble problem of identifying the best solution in every niche. In this way each function evaluation enriches our modelling and provides insight to the whole problem, naturally balancing exploration and exploitation of the search space. The resulting algorithm is very effective in identifying the parts of the search space that belong to a niche in feature space, and finding the optimal solution in each niche. It is also significantly more sample efficient than simpler benchmark approaches. BOP-Elites goes further than existing QD algorithms by quantifying the uncertainty around our predictions and offering additional illumination of the search space through surrogate models.

研究动机与目标

• 解决在基于特征值划分为用户定义类群的优化问题中，寻找高性能且行为多样化的解的挑战。
• 通过利用同时建模目标函数与特征函数的共享代理模型，提升质量-多样性搜索中的样本效率。
• 开发一种新颖的获取函数，智能选择新评估点，以同时最大化所有类群精英的预期改进。
• 在收敛速度与解质量方面，超越轮转分配与各分类群独立优化等基线方法。
• 通过概率建模提供不确定性量化，并增强搜索空间的探索能力。

提出的方法

• 该算法使用高斯过程（GP）代理模型，在输入空间中联合建模目标函数与多个特征函数。
• 提出一种新颖的获取函数，将预期改进与通过 GP 后验分布计算的解属于每个类群的概率相结合。
• 通过优化该获取函数，选择能使类群精英集合中预期改进最大化的下一个评估点。
• 在每次函数评估后迭代更新 GP 模型，从而在整个搜索空间中精炼预测与不确定性估计。
• 将每个类群视为一个约束的单目标优化问题，获取函数在所有类群中平衡探索与利用。
• 通过 L-BFGS 方法使用最大似然估计学习 GP 模型的超参数，长度尺度约束在 [0.001, 2] 范围内。

实验结果

研究问题

• RQ1 贝叶斯优化框架能否在具有多个行为类群的质量-多样性搜索中，有效平衡探索与利用？
• RQ2 所提出的融合类群概率的获取函数与朴素分配策略相比，在收敛速度与解质量方面表现如何？
• RQ3 在类群之间共享代理模型在多大程度上提升了样本效率，相较于独立或顺序优化？
• RQ4 该算法量化不确定性的能力是否增强了搜索性能，并为搜索空间提供有意义的洞见？
• RQ5 该方法能否推广至更高维的特征空间与搜索空间，以及噪声或连续域？

主要发现

• 在基准实验中，BOP-Elites 平均在第 13 次迭代时收敛至近似最优解，并在第 18 次迭代时达到真实最优解。
• 在解质量与收敛速度方面，该算法优于轮转法与独立优化基线方法。
• 顺序 BOP-Elites 变体在第 17 至 20 次迭代间表现出性能拐点，可能源于对已优化类群的持续采样。
• 在 100 次重复实验中，BOP-Elites 在采样预算内实现了完美解，仅在一个类群中出现一次失败。
• 获取函数将类群概率与预期改进相结合，相比基线策略实现了更有效的探索与更快的收敛。
• 使用共享代理模型并结合不确定性量化，使搜索比独立或顺序方法更加智能与高效。