[論文レビュー] BOP-Elites, a Bayesian Optimisation Approach to Quality Diversity Search with Black-Box descriptor functions

Paul R. C. Kent, Adam Gaier+2 more|arXiv (Cornell University)|Jul 18, 2023

Machine Learning and Data ClassificationComputer Science被引用数 3

ひとこと要約

BOP-Elites は、目的関数と行動記述子をガウス過程を用いて同時にモデル化するベイズ最適化フレームワークを提案する。これにより、高価なブラックボックス問題において高いサンプル効率を実現する。BOP-Elites は、より少ない評価回数で近似的に最適な性能を達成し、SOTA の QD アルゴリズムを上回る。さらに、訓練済みのスラッグモデルを用いた解アーカイブの「スケーリングアップ」を可能にする。

ABSTRACT

Quality Diversity (QD) algorithms such as MAP-Elites are a class of optimisation techniques that attempt to find many high performing points that all behave differently according to a user-defined behavioural metric. In this paper we propose the Bayesian Optimisation of Elites (BOP-Elites) algorithm. Designed for problems with expensive black-box fitness and behaviour functions, it is able to return a QD solution-set with excellent final performance already after a relatively small number of samples. BOP-Elites models both fitness and behavioural descriptors with Gaussian Process (GP) surrogate models and uses Bayesian Optimisation (BO) strategies for choosing points to evaluate in order to solve the quality-diversity problem. In addition, BOP-Elites produces high quality surrogate models which can be used after convergence to predict solutions with any behaviour in a continuous range. An empirical comparison shows that BOP-Elites significantly outperforms other state-of-the-art algorithms without the need for problem-specific parameter tuning.

研究の動機と目的

• 高価なブラックボックスの目的関数と記述子関数を対象とした、サンプル効率的で原理的であるベイズ最適化手法の開発。
• 行動記述子空間における改善度と多様性のバランスを取る、新たな獲得関数を定式化することで、ベイズ最適化を QD に拡張すること。
• 連続的な記述子空間全体にわたって解を予測可能な、高品質なスラッグモデルの生成。
• 低解像度のアーカイブで訓練されたスラッグモデルを活用して、高解像度のアーカイブを予測する「スケーリングアップ」を可能にすること。
• 無効領域や到達不能領域を含む多様な QD ベンチマークにおいて、優れた性能と頑健性を示すこと。

提案手法

• BOP-Elites は、ベイズ最適化フレームワーク内で、目的関数と m 次元の記述子関数を、ガウス過程（GP）スラッグモデルを用いて同時にモデル化する。
• 探索と活用のバランスを保ちながら、記述子空間の部分領域を最適化することを目的とした、新たな獲得関数 EJIE+ を採用。これは期待改善（Expected Improvement）を基にした変種である。
• アルゴリズムは、EJIE+ 獲得関数を最大化することで、次に評価すべき点を逐次選択し、高パフォーマンスで多様な領域を効率的にサンプリングする。
• 構造化されたアーカイブが、高パフォーマンスな観測を保存し、最終的な解集合を MAP-Elites と同じ形式で保持する。
• 収束後、訓練済みの GP スラッグモデルを用いて、高解像度の記述子空間の予測マップを生成し、解アーカイブの「スケーリングアップ」を実現する。
• 問題固有のハイパーパramータチューニングを避ける一般化されたアプローチであり、ブラックボックスおよびホワイトボックスの両方の記述子関数をサポートする。

実験結果

リサーチクエスチョン

• RQ1 高価なブラックボックスの目的関数と記述子関数を対象とした、原理的で効果的なベイズ最適化フレームワークを QD 問題に適用可能か？
• RQ2 提案された EJIE+ 獲得関数は、既存の QD 手法およびスラッグ支援手法と比較して、サンプル効率性と最終的な解品質の面でどの程度優れているか？
• RQ3 低解像度アーカイブで訓練されたスラッグモデルが、高解像度の記述子空間において高品質な解を予測するためにどの程度活用可能か？
• RQ4 無効領域や到達不能領域を含む多様な問題タイプにおいても、BOP-Elites は強力な性能を維持できるか？
• RQ5 MAP-Elites、SAIL、SPHEN などの SOTA の QD アルゴリズムと比較して、収束速度と最終的なアーカイブ品質の面で BOP-Elites はどの程度優れているか？

主な発見

• BOP-Elites は、Mishra のバード関数やロボットアーム問題を含む、すべてのテストベンチマークで SAIL や SPHEN、MAP-Elites を顕著に上回る QD スコアを達成した。
• 領域数の2倍の予算で、BOP-Elites は近似的に最適な性能を達成し、優れた収束性とサンプル効率性を示した。
• Mishra のバード関数において、BOP-Elites はわずか 3.05e5 回の評価で QD スコア 2.93e6 を達成した。これは、同じ予算で SAIL（1.31e4）と SPHEN（7.24e4）を上回った。
• BOP-Elites が生成するスラッグモデルは、効果的な「スケーリングアップ」を可能にし、上位解像度のアーカイブに対して高品質な予測を生成した。スケーリングアップ版の QD スコアは 3.33e6 であった。
• EJIE+ 獲得関数が高パフォーマンスな部分領域を優先するため、早期停止や限られた予算下でも、収束が早く、高パフォーマンス領域のカバーが良好である。
• 無効領域を含むパーセックドメインや、到達不能領域を含むロボットアーム問題など、挑戦的な環境でも、BOP-Elites はあらゆるケースで強力な性能を維持した。