[論文レビュー] Uncertain Quality-Diversity: Evaluation methodology and new methods for Quality-Diversity in Uncertain Domains

Manon Flageat, Antoine Cully|arXiv (Cornell University)|Feb 1, 2023

Advanced Bandit Algorithms Research被引用数 7

ひとこと要約

この論文は、適応度と記述子が固定値ではなく確率分布である不確実性のある環境におけるQDのための形式的枠組みであるUncertain QDを紹介する。各世代のサンプリング予算を用いた新たな評価手法を提案し、3つの新規アルゴリズム—Archive-sampling、Parallel-Adaptive-sampling、Deep-Grid-sampling—を導入することで、不確実なドメインにおける解の再現性と耐性を向上させ、標準的なMAP-Elitesを凌駕する。

ABSTRACT

Quality-Diversity optimisation (QD) has proven to yield promising results across a broad set of applications. However, QD approaches struggle in the presence of uncertainty in the environment, as it impacts their ability to quantify the true performance and novelty of solutions. This problem has been highlighted multiple times independently in previous literature. In this work, we propose to uniformise the view on this problem through four main contributions. First, we formalise a common framework for uncertain domains: the Uncertain QD setting, a special case of QD in which fitness and descriptors for each solution are no longer fixed values but distribution over possible values. Second, we propose a new methodology to evaluate Uncertain QD approaches, relying on a new per-generation sampling budget and a set of existing and new metrics specifically designed for Uncertain QD. Third, we propose three new Uncertain QD algorithms: Archive-sampling, Parallel-Adaptive-sampling and Deep-Grid-sampling. We propose these approaches taking into account recent advances in the QD community toward the use of hardware acceleration that enable large numbers of parallel evaluations and make sampling an affordable approach to uncertainty. Our final and fourth contribution is to use this new framework and the associated comparison methods to benchmark existing and novel approaches. We demonstrate once again the limitation of MAP-Elites in uncertain domains and highlight the performance of the existing Deep-Grid approach, and of our new algorithms. The goal of this framework and methods is to become an instrumental benchmark for future works considering Uncertain QD.

研究の動機と目的

• 不確実なドメインにおける品質多様性最適化の統一的枠組みを形式化すること。ここで、適応度と記述子は固定値ではなく確率分布である。
• 標準的なQDアルゴリズム（例：MAP-Elites）の限界を是正すること。特に、不確実な環境下でエリート主義が「運の良い評価」に偏る問題を解消する。
• バッチサイズではなくサンプリング予算を考慮する新たな評価手法を提案し、不確実性対応戦略の公平な比較を可能にすること。
• 高並列化とサンプリングを活用して解の信頼性と多様性を向上させる、新たなUncertain QDアルゴリズムの設計と評価。
• オープンソースのツールと標準化された評価プロトコルを通じて、今後のUncertain QD分野の研究のベンチマークを確立すること。

提案手法

• 適応度と記述子が可能な値の確率分布である場合を特別なQDの設定として形式化する。
• アルゴリズム比較におけるバッチサイズの代わりに「サンプリングサイズ」を導入し、各解について1世代あたりの評価総数を表す。
• 各世代のサンプリング、解の繰り返し評価、分布に基づく指標の計算を含む、新たな評価パイプラインを提案する。
• 3つの新規アルゴリズムを開発：Archive-sampling（アーカイブから解をサンプリングして評価）、Parallel-Adaptive-sampling（各セルの分散に基づいてサンプリングを適応的に調整）、Deep-Grid-sampling（ニューラルネットワークを用いて分布をモデル化し、戦略的にサンプリング）。
• QD-Score、再現性スコア、適応度／記述子の分散といった指標を用いて、タスク全体におけるパフォーマンスと耐性を評価する。
• QDax や EvoJax といったライブラリを活用した高並列化により、効率的なサンプリングベースの評価を実現し、モデルベースの不確実性対処手法と同等の選択肢としてサンプリングを有効に活用する。

Figure 1: Illustration of the Uncertain QD setting: (1) we represent the fitness and descriptors of $3$ hypothetical solutions in the usual QD setup (left) versus in the Uncertain QD setup (right): their fitness and descriptors are now distributions over possible values, instead of fixed constant va

実験結果

リサーチクエスチョン

• RQ1 適応度と記述子の値に不確実性が存在する場合、品質多様性最適化をどのように正式に拡張できるか？
• RQ2 評価コストがサンプリングに依存する場合、不確実なQDアルゴリズムを公平に比較する最良の方法は何か？
• RQ3 サンプリングベースの手法は、モデルベースや適応的戦略と比較して、解の質、多様性、再現性においてどのように異なるか？
• RQ4 均一サンプリング、適応的サンプリング、分布モデリングのうち、どのアルゴリズム的設計が不確実な環境で最も耐性があり多様な解を生み出すか？
• RQ5 高並列化によりサンプリングが安価になる場合、単純なサンプリング戦略がより複雑なモデルベース手法を上回る可能性はあるか？

主な発見

• MAP-Elitesはエリート主義が「運の良い評価」に偏るため、不確実なドメインでは失敗し、再現性のない解が選ばれてしまう。
• Archive-sampling と Parallel-Adaptive-sampling は、解のパフォーマンスの分散を低減することで、MAP-Elites や MAP-Elites-Random よりも顕著に再現性を向上させた（p < 1.10⁻³）。
• Walkerタスクにおいて、Deep-Grid-sampling はQD-Scoreで他の手法を上回った（サンプリングサイズ256の場合、p < 5.10⁻²）、かつ簡単なタスクでも優れた性能を示した。
• Deep-Grid は単純なノイズ構造のドメインでは良好に機能したが、複雑なノイズでは分布の近似に限界を示し、性能に悪影響を及えた。
• MAP-Elites-sampling でさえも、探索が不十分でサンプリング戦略が劣っているため、再現性において標準的なMAP-Elitesと同等の性能にとどまった。
• Archive-sampling と Parallel-Adaptive-sampling は、複雑なタスク（Ant と Walker）においても競争力あるQD-Scoreを達成し、Deep-Grid-sampling を上回った。両手法は強力な再現性を示した。

Figure 2: Pareto front for all approaches on all tasks. The x-axis is the Corrected QD-Score, quantifying the quality and diversity of the final collection; and the y-axis is the Time to convergence in minutes. For each approach, we represent increasing sampling-size as increasing marker-size. The d