[論文レビュー] Discovering Diverse Solutions in Deep Reinforcement Learning.

Takayuki Osa, Voot Tangkaratt+1 more|arXiv (Cornell University)|Mar 12, 2021

Reinforcement Learning in Robotics参考文献 32被引用数 7

ひとこと要約

本論文は、与えられたタスクに対して無限個の多様な解を発見するため、連続的または離散的な低次元の潜在変数に条件付けられた方策を学習する深層強化学習手法を提案する。データ効率的な多様な行動の学習を可能にすることで、未観測のタスクへの頑健な少サンプル適応を支援し、連続制御環境において優れた汎化性能と解の多様性を示す。

ABSTRACT

Reinforcement learning (RL) algorithms are typically limited to learning a single solution of a specified task, even though there often exists diverse solutions to a given task. Compared with learning a single solution, learning a set of diverse solutions is beneficial because diverse solutions enable robust few-shot adaptation and allow the user to select a preferred solution. Although previous studies have showed that diverse behaviors can be modeled with a policy conditioned on latent variables, an approach for modeling an infinite set of diverse solutions with continuous latent variables has not been investigated. In this study, we propose an RL method that can learn infinitely many solutions by training a policy conditioned on a continuous or discrete low-dimensional latent variable. Through continuous control tasks, we demonstrate that our method can learn diverse solutions in a data-efficient manner and that the solutions can be used for few-shot adaptation to solve unseen tasks.

研究の動機と目的

• 標準のRLアルゴリズムが、1つのタスクに対して1つの解しか学習しないという制限に対処すること。
• 連続的な潜在変数が深層RLにおいて無限個の多様な解をモデル化できるかどうかを検討すること。
• 新しい未観測のタスクへの迅速な適応を支援する、データ効率的な多様な行動の学習を可能にすること。
• 事前に定義された行動クラスタに依存せずに、スケーラブルで汎用的な多様な方策の発見手法を開発すること。

提案手法

• 低次元の連続的または離散的な潜在変数に条件付けられた方策ネットワークを用いて、多様な行動を生成する。
• 変分推論フレームワークを用いて、方策と潜在変数分布を同時に学習し、学習済み行動の多様性を促進する。
• 報酬形状化機構により、多様な行動が単に相違しているだけでなく、タスクを効果的に解決できるように保証する。
• タスクのパフォーマンスと行動の多様性の両立を潜在空間を通じて最適化する正則化された目的関数を最適化する。
• 推論時に潜在変数をサンプリングすることで、必要に応じて新しい多様な解を生成する。
• 本手法は、MuJoCo環境を含む連続制御ベンチマークで評価され、スケーラビリティと効率性を示している。

実験結果

リサーチクエスチョン

• RQ1 連続的な潜在変数を用いることで、深層RLアルゴリズムが無限個の多様な解を学習できるか？
• RQ2 本手法は、データ効率性と解の多様性の観点で、既存の手法と比較してどのように異なるか？
• RQ3 学習された多様な方策は、未観測のタスクへの少サンプル適応にどの程度寄与できるか？
• RQ4 連続的な潜在変数の使用は、離散的または固定された行動事前分布と比較して、より優れた汎化性能と行動の多様性をもたらすか？

主な発見

• 本手法は、Ant や Half-Cheetah などの連続制御環境で、無限個の多様でタスクを満たす行動を効果的に学習した。
• 行動の多様性はベースライン手法よりも顕著に高く、潜在空間全体にわたり明確に分離された方策行動が得られた。
• 本手法はデータ効率性を達成しており、標準のRLアルゴリズムと比較して、収束に必要な環境インタラクション回数が少ない。
• 学習済み方策は未観測のタスクに対しても良好に汎化され、単純な潜在コードのサンプリングにより迅速な適応が可能である。
• 多様な解を用いることで、少サンプル適応性能が顕著に向上し、単一のポリシーを用いたベースラインを上回った。
• 連続的な潜在変数の使用により、解の間での滑らかで解釈可能な行動補間が可能になった。