[論文レビュー] Neuroevolution is a Competitive Alternative to Reinforcement Learning for Skill Discovery

Félix Chalumeau, Raphael Boige+6 more|arXiv (Cornell University)|Oct 6, 2022

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

この論文は、スキル発見における情報理論的補正を施した強化学習（RL）と比較して、品質多様性（QD）ニューロエボリューションが競争力のある代替手法であることを示している。QDが行動記述子に基づく最適化によって多様で高パフォーマンスなポリシーを生成できる能力を活用することで、著者らはQD手法がスキル多様性、適応性、階層的計画タスクの観点で、最先端のRLベースの手法と同等またはそれ以上の性能を達成することを示している。また、ハイパーパrameterへの感受性が低く、スケーラビリティに優れている点で、優れた特徴を示している。

ABSTRACT

Deep Reinforcement Learning (RL) has emerged as a powerful paradigm for training neural policies to solve complex control tasks. However, these policies tend to be overfit to the exact specifications of the task and environment they were trained on, and thus do not perform well when conditions deviate slightly or when composed hierarchically to solve even more complex tasks. Recent work has shown that training a mixture of policies, as opposed to a single one, that are driven to explore different regions of the state-action space can address this shortcoming by generating a diverse set of behaviors, referred to as skills, that can be collectively used to great effect in adaptation tasks or for hierarchical planning. This is typically realized by including a diversity term - often derived from information theory - in the objective function optimized by RL. However these approaches often require careful hyperparameter tuning to be effective. In this work, we demonstrate that less widely-used neuroevolution methods, specifically Quality Diversity (QD), are a competitive alternative to information-theory-augmented RL for skill discovery. Through an extensive empirical evaluation comparing eight state-of-the-art algorithms (four flagship algorithms from each line of work) on the basis of (i) metrics directly evaluating the skills' diversity, (ii) the skills' performance on adaptation tasks, and (iii) the skills' performance when used as primitives for hierarchical planning; QD methods are found to provide equal, and sometimes improved, performance whilst being less sensitive to hyperparameters and more scalable. As no single method is found to provide near-optimal performance across all environments, there is a rich scope for further research which we support by proposing future directions and providing optimized open-source implementations.

研究の動機と目的

• 品質多様性（QD）ニューロエボリューションが、スキル発見の文脈で情報理論的補正を施したRLの有効な代替手段として機能しうるかを評価すること。
• ハイパーパrameterへの感受性や特定のタスク条件への過剰適合といった、RLベース手法の限界を是正すること。
• スキル多様性、摂動への適応、階層的計画の3つの主要指標において、QDとRLベースのアルゴリズムの性能を比較すること。
• ハイパーパrameterチューニングの依存度を低減することで、QD手法の頑健性を実証すること。
• 評価されたアルゴリズムの最適化済みオープンソース実装を公開することで、今後の研究を支援すること。

提案手法

• 著者らは、連続的制御環境のスイート上で、8つの最先端のアルゴリズム——QD系から4つ、情報理論的補正を施したRL系から4つ——を実装・比較した。
• QD手法では、行動記述子空間を用いてポリシーを異なる行動的領域にマッピングし、進化的選択によって高パフォーマンスで多様なポリシーのレパートリーを維持する。
• RLベースの手法では、潜在変数とポリシーの軌道間の相互情報量を促進することで多様性を促進し、ディスクライマーまたはダイナミクスモデルを用いて報酬を形状化する。
• 報酬関数は、外的タスク報酬と、対数尤度比から導かれる多様性報酬を組み合わせる：DIAYNでは $ r_{\text{diversity}} = \log q_{\phi}(z|s_{t+1}) - \log p(z) $、DADSでは $ \log q(s_{t+1}|s_t,z) - \log p(s) $ となる。
• SMERLバージョンでは、しきい値付き報酬の組み合わせを用いる：$ r_{\text{SMERL}} = r_t + \delta \beta r_{\text{diversity}} $、ここで $ \delta = \mathbb{1}_{R > R^* - \epsilon} $ であり、高パフォーマンスなエピソードを優先する。
• すべての手法はリプレイバッファを用いたオフポリシー深層RLで訓練され、ポリシーのパラメータはポリシー勾配最適化により更新された。

実験結果

リサーチクエスチョン

• RQ1 QDベースのニューロエボリューションは、情報理論的補正を施したRLに比べ、多様で高パフォーマンスなスキルを生成する点で同等またはそれを上回る性能を示せるか？
• RQ2 行動記述子カバレッジと潜在コードと軌道間の相互情報量を指標として、QDとRLベース手法のスキル多様性はどのように比較できるか？
• RQ3 QDで発見されたスキルの多様性は、ロボットの形状変更や初期条件の変化といった環境の摂動下でも、より優れた適応性能をもたらすか？
• RQ4 QDから得たスキルは、階層的計画のプリミティブとして有効に機能し、RLベースのスキルセットを上回るか、同等の性能を発揮するか？
• RQ5 特に多様性係数 $ \beta $ に関して、QDとRLベース手法はハイパーパrameterチューニングに対してどの程度感受性を示すか？

主な発見

• QD手法は、行動記述子空間のカバレッジと潜在コードと軌道間の相互情報量という指標で測定したスキル多様性において、最先端のRLベース手法と同等またはそれ以上の性能を達成した。
• 摂動への適応タスクでは、QDベースのポリシーが、本質的な行動多様性のおかげで、ロボットの形状変更や初期条件の変化に対してより優れた一般化性能を示した。
• 階層的計画のプリミティブとして使用した場合、QDから得たスキルは、特に柔軟なポリシー合成を要する環境において、複雑なマルチステージタスクを解決する点で、RLベースの対応手法を上回るか同等の性能を示した。
• QD手法は、多様性係数 $ \beta $ に特に感受性が低く、ハイパーパrameterチューニングに注意を要するRLベース手法と比較して顕著に感受性が低いことが判明した。
• 環境インタラクション回数が最大で2桁以上多いにもかかわらず、QD手法はより効果的にスケーリングされ、多様な環境で一貫したパフォーマンスを維持した。
• どの1つの手法もすべての環境で最適なパフォーマンスを発揮しなかったため、ハイブリッドまたは適応的ニューロエボリューション-RLフレームワークの今後の研究の余地が豊富にあることが示された。