[論文レビュー] Approximating Gradients for Differentiable Quality Diversity in Reinforcement Learning

Bryon Tjanaka, Matthew C. Fontaine+2 more|arXiv (Cornell University)|Feb 8, 2022

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本稿では、強化学習（RL）における微分可能品質多様性（DQD）のための、CMA-MEGAアルゴリズムの2つの変種を提案する。勾配の近似に進化戦略（ES）とTD3アクタークリティック手法を用いる。この手法により、非微分可能なRL環境でも効率的なQD最適化が可能となり、1つの変種がQDGymの4つの歩行タスクにおいて、最先端のPGA-MAP-Elitesと同等の性能を達成した。

ABSTRACT

Consider the problem of training robustly capable agents. One approach is to generate a diverse collection of agent polices. Training can then be viewed as a quality diversity (QD) optimization problem, where we search for a collection of performant policies that are diverse with respect to quantified behavior. Recent work shows that differentiable quality diversity (DQD) algorithms greatly accelerate QD optimization when exact gradients are available. However, agent policies typically assume that the environment is not differentiable. To apply DQD algorithms to training agent policies, we must approximate gradients for performance and behavior. We propose two variants of the current state-of-the-art DQD algorithm that compute gradients via approximation methods common in reinforcement learning (RL). We evaluate our approach on four simulated locomotion tasks. One variant achieves results comparable to the current state-of-the-art in combining QD and RL, while the other performs comparably in two locomotion tasks. These results provide insight into the limitations of current DQD algorithms in domains where gradients must be approximated. Source code is available at https://github.com/icaros-usc/dqd-rl

研究の動機と目的

• 環境の動的ダイナミクスが通常微分不能であるため、微分可能品質多様性（DQD）を強化学習（RL）の文脈に拡張すること。
• 既存のDQDアルゴリズムが正確な勾配を必要とすることに起因する制限を解消し、標準的なRL環境では勾配が入手できない状況に対処すること。
• RLに適合する手法を用いて、性能（目的関数）および行動（測定関数）の両方の勾配を近似することで、効率的なQD-RLアルゴリズムの開発を図ること。
• 提案手法をベンチマーク用の歩行タスクで評価し、最先端のQD-RLアルゴリズムと性能および効率の面で比較すること。
• DQDにおける勾配近似手法の実用的ガイドラインを提供し、現代の制御ベンチマークにおいてTD3をESよりも優れた選択肢として推奨すること。

提案手法

• CMA-MEGA DQDアルゴリズムをRLに適応させるために、目的関数および行動関数の勾配を進化戦略（ES）とTD3アクタークリティック手法を用いて近似する。
• 2つの変種を導入：CMA-MEGA (TD3, ES) は目的関数の勾配推定にTD3、行動関数の勾配推定にESを用い、CMA-MEGA (ES) は両方の勾配推定にESを用いる。
• 解の周囲に勾配係数をサンプリングし、アーカイブの改善を最大化するように分布を更新するCMA-MEGAフレームワークを維持する。
• 歩行タスクにおける足の使用パターンに基づく行動測定を導入し、多様性を定義することで、ポリシーが多様な歩行戦略を持つようにする。
• 勾配近似をCMA-MEGA最適化ループに統合し、解析的に勾配が得られない状況下でもDQDスタイルの探索が可能になるようにする。
• 評価にはPyBulletベースのQDGym環境を用い、アルゴリズム間の性能比較の主な指標としてQDスコアのAUCを用いる。

実験結果

リサーチクエスチョン

• RQ1 正確な勾配が入手できない状況下でも、微分可能品質多様性（DQD）が強化学習（RL）に効果的に適用可能か？
• RQ2 進化戦略（ES）やTD3といった勾配近似手法は、RLにおけるDQD最適化の実行能力において、どのように比較されるか？
• RQ3 提案されたCMA-MEGA変種は、QD-RLベンチマークにおいて最先端のPGA-MAP-Elitesと比較して、どのような性能を示すか？
• RQ4 勾配近似手法の効率性は、複雑な歩行タスクにおける収束性および最終的なQDスコアにどのように影響するか？
• RQ5 なぜ特定の勾配近似手法（例：TD3）が、QD Hopper や QD Walker といった特定の環境で他の手法（例：ES）を上回るのか？

主な発見

• CMA-MEGA (TD3, ES) は、QDGymの4つの歩行タスクすべてにおいて、最先端のPGA-MAP-Elitesと同等のQDスコアを達成した。
• CMA-MEGA (TD3, ES) は、QD Ant および QD Hopper において、最終的なQDスコアはPGA-MAP-Elitesと同等であったが、評価効率が低く、より非効率であった。
• CMA-MEGA (ES) は、4つのタスクのうち2つ（QD Half-Cheetah および QD Walker）でPGA-MAP-Elitesと同等の性能を示したが、QD Ant および QD Hopper では著しく劣った。
• CMA-MEGA変種では、ME-ESと比較して、より高いアーカイブ挿入回数（500k vs. 5k）を実現したが、これはアーカイブ改善の観点で優位性を示した。
• QD Hopper および QD Walker において、TD3ベースの目的関数勾配がESベースの勾配よりも効果的であった。これは、QDGymに組み込まれた報酬形状信号が深層RL最適化を好む傾向にあるためと考えられる。
• MAP-ElitesはQD HopperではCMA-MEGA変種よりも高いQDスコアを達成したが、その解はより不安定であったため、性能と安定性のトレードオフが生じていることが示された。