[論文レビュー] Benchmarking Quality-Diversity Algorithms on Neuroevolution for Reinforcement Learning

Manon Flageat, Bryan Lim+4 more|arXiv (Cornell University)|Nov 4, 2022

Reinforcement Learning in Robotics被引用数 7

ひとこと要約

本論文は、強化学習（RL）ドメインにおける深層ニューロエボリューションの品質多様性（QD）アルゴリズムを評価するための標準化されたベンチマークスイートを導入し、複雑さの異なる6つのロボット制御環境を備えている。高次元の探索空間と環境の確率的変動を考慮したメトリクスを提案し、標準的なQDアルゴリズム（例：MAP-Elites）が「運が良い」解に起因する性能劣化を示す一方で、ランダムサーチは確率的変動に対してより頑健なポリシーを生成することが明らかになった。

ABSTRACT

We present a Quality-Diversity benchmark suite for Deep Neuroevolution in Reinforcement Learning domains for robot control. The suite includes the definition of tasks, environments, behavioral descriptors, and fitness. We specify different benchmarks based on the complexity of both the task and the agent controlled by a deep neural network. The benchmark uses standard Quality-Diversity metrics, including coverage, QD-score, maximum fitness, and an archive profile metric to quantify the relation between coverage and fitness. We also present how to quantify the robustness of the solutions with respect to environmental stochasticity by introducing corrected versions of the same metrics. We believe that our benchmark is a valuable tool for the community to compare and improve their findings. The source code is available online: https://github.com/adaptive-intelligent-robotics/QDax

研究の動機と目的

• 強化学習（RL）ドメインにおける深層ニューロエボリューションの品質多様性（QD）アルゴリズムを評価するための標準化されたベンチマークの欠如に取り組むこと。
• 高次元のニューラルネットワーク探索空間と環境の確率的変動という二重の課題を反映する評価メトリクスを形式化すること。
• QDベースのニューロエボリューションによるロボット制御タスクにおける公平な比較と再現可能性のある進歩を可能にすること。
• フィットネスと行動記述子のずれのばらつきを補正するメトリクスを用いて、環境の確率的変動下での解の頑健性を定量化すること。
• 既存のQDアルゴリズムが確率的環境で示す限界、特に1回の評価で高いスコアを出すが平均的には不安定な「運が良い」ポリシーを好むリスクを明らかにすること。

提案手法

• ベンチマークは、Braxシミュレータ内の6つの環境（Hopper, Walker, Half-Cheetah, Ant, Humanoid, Hexapod）で、一方向移動と全方向移動の2つのタスクを定義している。
• 各環境に特化した行動記述子（BDs）とフィットネス関数を指定し、BDの次元数とサブディビジョン数（例：30², 5⁴, 100²）に基づいてアーカイブセルの数を設定している。
• 環境の確率的変動を考慮するために、個体1つあたり複数回の評価を実施し、標準的なQDメトリクス（カバレッジ、QDスコア、最大フィットネス、アーカイブプロファイル）の補正版を提案している。
• QDスコアは、アーカイブプロファイル曲線の下側面積と数学的に関連づけられ、正規化されたフィットネスの積分に比例することが示された。
• 頑健性は、フィットネスに確率的ばらつきを補正した際のカバレッジおよびQDスコアの低下を測る「ロス」メトリクスによって定量化されている。
• ベンチマークはQDaxライブラリに実装され、再現可能性とコミュニティ全体の評価を支援するため、公開されている。

実験結果

リサーチクエスチョン

• RQ1 MAP-Elites や CVT-MAP-Elites といった標準的なQDアルゴリズムは、形態的および環境的複雑性が増すロボット制御タスクの範囲で、どのように性能を発揮するか？
• RQ2 環境の確率的変動は、深層ニューロエボリューションにおけるQD生成ポリシーの性能と頑健性をどの程度劣化させるか？
• RQ3 確率的ばらつきを補正するメトリクスは、標準メトリクスが見逃す可能性のあるQDアルゴリズムの潜在的欠陥を明らかにできるか？
• RQ4 なぜ一部のQDアルゴリズムは、1回の評価では優れた性能を示すが、平均的には劣る「運が良い」解を好むのか？
• RQ5 頑健性を最優先とした場合、ランダムサーチはQDアルゴリズムと比較してどの程度優れた性能を示すか？

主な発見

• MAP-Elites および CVT-MAP-Elites は高いカバレッジとQDスコアを達成したが、補正後のカバレッジおよびQDスコアでそれぞれ80％のロスを示し、確率的変動下での頑健性が低いことが判明した。
• 最適化バイアスを欠くにもかかわらず、ランダムサーチは著しく低いロスメトリクスを示し、運の良い評価に過剰に適合するのを避けるなど、より頑健な解決策を生成した。
• 補正済み最大フィットネスメトリクスは、他の補正済みメトリクスと比較してより高いばらつきを示した。これは、1人の個体に依存する性質に起因し、個体の外れ値に敏感であることを示している。
• CVT-MAP-Elitesは、ボロノイタイルレーションのコストにより、標準的なMAP-Elitesよりも計算時間が長くなったが、性能差は最小限にとどまった。
• アーカイブプロファイル曲線の下側面積は、QDスコアと数学的に比例しており、正規化されたフィットネスが使用される場合、性能の代理指標としての有効性が裏付けられた。
• ベンチマークは、標準的なQDメトリクスが確率的変動に起因する性能劣化を検出できないことを明らかにした。これにより、信頼できる評価のためには補正済みメトリクスの導入が不可欠であることが示された。