[論文レビュー] Benchmarking Deep Reinforcement Learning for Continuous Control

Yan Duan, Xi Chen+3 more|arXiv (Cornell University)|Apr 22, 2016

Reinforcement Learning in Robotics参考文献 64被引用数 966

ひとこと要約

この論文は、31個の連続制御タスクの包括的なベンチマークを導入し、深層強化学習アルゴリズムの体系的評価を行い、TNPG、TRPO、DDPGを多くのタスクで有効であると強調する一方で階層的タスクに課題を指摘します。

ABSTRACT

Recently, researchers have made significant progress combining the advances in deep learning for learning feature representations with reinforcement learning. Some notable examples include training agents to play Atari games based on raw pixel data and to acquire advanced manipulation skills using raw sensory inputs. However, it has been difficult to quantify progress in the domain of continuous control due to the lack of a commonly adopted benchmark. In this work, we present a benchmark suite of continuous control tasks, including classic tasks like cart-pole swing-up, tasks with very high state and action dimensionality such as 3D humanoid locomotion, tasks with partial observations, and tasks with hierarchical structure. We report novel findings based on the systematic evaluation of a range of implemented reinforcement learning algorithms. Both the benchmark and reference implementations are released at https://github.com/rllab/rllab in order to facilitate experimental reproducibility and to encourage adoption by other researchers.

研究の動機と目的

• 深層RLの進展を定量化するための標準化され挑戦的な連続制御ベンチマークの必要性を動機づける。
• 基本、移動、部分観測、および物理シミュレータで実装された階層構造を含む多様なタスク群を提供する。
• 強化学習政策に対して最適化勾配ベースおよび勾配フリーのアルゴリズムを評価し、長所と限界を特定する。

提案手法

• 有限ホライズン割引MDPを定義し、必要に応じてPOMDPへ拡張する。
• Box2DおよびMuJoCoシミュレータを用いて4カテゴリにまたがる31の連続制御タスクを実装する。
• オンライン学習のためのDDPGを含む、勾配ベース（REINFORCE、TNPG、TRPO、RWR、REPS）および勾配フリー（CEM、CMA-ES）の手法のコレクションをベンチマークする。
• ニューラルポリシーを使用（基本/移動/階層タスクには前方フィードフォワード、部分観測タスクにはリカレント）し、分散を減らす標準ベースラインを用いる。
• 複数の乱数シードで評価し、ほとんどのアルゴリズムについてハイパーパラメータをグリッド探索し、平均性能と標準偏差を報告する。

実験結果

リサーチクエスチョン

• RQ1 さまざまな強化学習アルゴリズムは、広範な連続制御タスクでどの程度性能を発揮するか？
• RQ2 バッチ勾配ベース法とオンライン法（DDPG）を比較した場合、連続制御における長所と限界は何か？
• RQ3 リカレントポリシーは部分観測設定で利点を提供するか，勾配ベースと勾配フリーの最適化はどのように相互作用するか？
• RQ4 階層的タスクは現在のアルゴリズムのギャップを露呈し、階層構造を自動的に発見・活用する新しいアプローチを必要とするか？

主な発見

• TNPGとTRPOは、ポリシー分布の制約を通じて安定した学習を提供することで、一般的に他のバッチアルゴリズムを上回る。
• REINFORCEは基本タスクと移動タスクで効果的になり得るが、一部のタスクで局所最適解へと早く収束する可能性がある。
• RWRはハイパーパラメータ調整なしでいくつかの基本タスクを解くことができるが、移動タスクでは苦戦する。
• DDPGは一部のタスク（例：Half-Cheetah）で収束が速いが、安定性の問題と報酬スケーリング感度を示す。
• ほとんどのアルゴリズムは階層的タスクで性能が低く、階層構造を自動的に発見・活用する方法の必要性を示している。
• CEMは単純なタスクで優れることがあるが、高次元性と複雑なダイナミクスで劣化する； CMA-ESは高次元タスクでメモリ制限のため失敗することがある。