[論文レビュー] BOP-Elites, a Bayesian Optimisation algorithm for Quality-Diversity search

Paul R. C. Kent, Jürgen Branke|arXiv (Cornell University)|May 8, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 13被引用数 6

ひとこと要約

この論文では、目的関数と特徴関数をガウス過程を用いて共同でモデル化することで、事前に定義された行動的ニッチごとに最良の解決策を効率的に同定するベイジアン最適化アルゴリズム、BOP-Elitesを提案する。期待改善とニッチ確率の両方をバランスさせる新しい獲得関数を用いることで、ラウンドロビンや独立最適化のベースラインと比較して収束が速く、サンプル効率も高い。平均して13回目の反復目までにほぼ最適解に到達する。

ABSTRACT

Quality Diversity (QD) algorithms such as MAP-Elites are a class of optimisation techniques that attempt to find a set of high-performing points from an objective function while enforcing behavioural diversity of the points over one or more interpretable, user chosen, feature functions. In this paper we propose the Bayesian Optimisation of Elites (BOP-Elites) algorithm that uses techniques from Bayesian Optimisation to explicitly model both quality and diversity with Gaussian Processes. By considering user defined regions of the feature space as 'niches' our task is to find the optimal solution in each niche. We propose a novel acquisition function to intelligently choose new points that provide the highest expected improvement to the ensemble problem of identifying the best solution in every niche. In this way each function evaluation enriches our modelling and provides insight to the whole problem, naturally balancing exploration and exploitation of the search space. The resulting algorithm is very effective in identifying the parts of the search space that belong to a niche in feature space, and finding the optimal solution in each niche. It is also significantly more sample efficient than simpler benchmark approaches. BOP-Elites goes further than existing QD algorithms by quantifying the uncertainty around our predictions and offering additional illumination of the search space through surrogate models.

研究の動機と目的

• 目的関数と特徴関数を、ユーザーが定義したニッチに基づいて分類された解決策を対象とした最適化問題において、高性能で行動的に多様な解決策を同定する課題に対処すること。
• 目的関数と特徴関数の両方の共有サロゲートモデルを活用することで、品質多様性探索におけるサンプル効率を向上させること。
• すべてのニッチに同時に期待改善を最大化するように、新しい評価点を知的に選択する新しい獲得関数の開発。
• 収束速度と解決策の質において、ラウンドロビン割り当てや各ニッチの独立最適化といったベースライン手法を上回ること。
• 確率的モデリングによる不確実性の定量化と、探索空間の強化された探索を提供すること。

提案手法

• アルゴリズムは、入力空間全体にわたり、目的関数と複数の特徴関数をガウス過程（GP）サロゲートモデルで同時にモデル化する。
• 各ニッチに属する解決策の確率をGP事後分布を用いて計算し、期待改善と組み合わせた新しい獲得関数を導入する。
• 獲得関数は、ニッチエリートの集合における期待改善を最大にする次回の評価点を選択するために最適化される。
• 各関数評価後にGPモデルを繰り返し更新し、全探索空間における予測と不確実性推定を精緻化する。
• 各ニッチを制約付きの単一目的最適化問題として扱い、獲得関数が全ニッチにわたる探索と活用のバランスを取る。
• GPモデルのハイパーパrameterは、L-BFGSを用いた最尤推定により学習され、長さスケールは[0.001, 2]に制約される。

実験結果

リサーチクエスチョン

• RQ1 複数の行動的ニッチを有する品質多様性探索において、ベイジアン最適化フレームワークは探索と活用のバランスを効果的にとることができるか？
• RQ2 ニッチ確率を組み込んだ提案された獲得関数は、ナーブな割り当て戦略と比較して、収束速度と解決策の質においてどのように異なるか？
• RQ3 ニッチ間で共有されるサロゲートモデリングは、独立または逐次的最適化と比較して、どの程度サンプル効率を向上させるか？
• RQ4 不確実性の定量化が、探索性能を向上させ、探索空間の構造について意味のある洞察を提供するか？
• RQ5 この手法は、高次元の特徴空間や探索空間、ノイズありまたは連続的ドメインにも一般化可能か？

主な発見

• BOP-Elitesは、ベンチマーク実験において平均して13回目の反復目までにほぼ最適解に収束し、18回目の反復目までに真の最適解に到達した。
• 解決策の質と収束速度の両面で、ラウンドロビンおよび独立最適化のベースラインを上回った。
• 順次的BOP-Elitesのバージョンでは、17〜20回目の反復の周辺で性能のひずみ（kink）が観察されたが、これはすでに最適化済みのニッチでの継続的サンプリングが原因とされる。
• 100回の再現のうち99回で、BOP-Elitesはサンプル予算内に完全な解決策に到達した。1つのニッチでの失敗が1回のみ観察された。
• ニッチ確率と期待改善を統合した獲得関数は、ベースライン戦略と比較して、より効果的な探索とより速い収束を実現した。
• 不確実性の定量化を伴う共有サロゲートモデルの使用により、独立または逐次的アプローチと比較して、より情報に基づいた効率的な探索が可能になった。