[論文レビュー] Continuous control with deep reinforcement learning

Timothy Lillicrap, Jonathan J. Hunt+6 more|arXiv (Cornell University)|Sep 9, 2015

Reinforcement Learning in Robotics参考文献 26被引用数 5,361

ひとこと要約

本論文は、Deep Deterministic Policy Gradient (DDPG) を提示する。深層ネットワークを用いた連続制御のオフポリシー actor-critic アルゴリズムで、リプレイバッファとターゲットネットワークを活用して、低次元状態と生のピクセル入力の両方から安定した学習を、さまざまなタスクにわたって実現する。

ABSTRACT

We adapt the ideas underlying the success of Deep Q-Learning to the continuous action domain. We present an actor-critic, model-free algorithm based on the deterministic policy gradient that can operate over continuous action spaces. Using the same learning algorithm, network architecture and hyper-parameters, our algorithm robustly solves more than 20 simulated physics tasks, including classic problems such as cartpole swing-up, dexterous manipulation, legged locomotion and car driving. Our algorithm is able to find policies whose performance is competitive with those found by a planning algorithm with full access to the dynamics of the domain and its derivatives. We further demonstrate that for many of the tasks the algorithm can learn policies end-to-end: directly from raw pixel inputs.

研究の動機と目的

• 連続アクション空間におけるスケーラブルな強化学習の課題に対処する。
• 深層関数近似器を活用するモデルフリーのオフポリシーアルゴリズムを開発する。
• DQN に触発されたリプレイバッファとターゲットネットワークで学習を安定化させる。
• 複雑な制御タスクにおける生のピクセル入力からのエンドツーエンド学習を実証する。

提案手法

• 連続動作を扱うために決定論的ポリシー勾配（DPG）を用いた actor-critic フレームワークを採用する。
• actor μ(s|θ^μ) および critic Q(s,a|θ^Q) の両方を表現するために深層ニューラルネットワークを用いる。
• サンプル相関を破りミニバッチ更新を可能にするためにリプレイバッファを組み込む。
• 学習を安定化させるために actor と critic のソフトターゲットネットワークを導入する（θ^Q' と θ^μ'）。
• 入力と隠れ層に対してバッチ正規化を適用し、異なる状態スケールに対処する。
• 時間的に相関した探索のために Ornstein–Uhlenbeck プロセスを用いて actor に探索ノイズを加える。
• ターゲット y_t = r_t + γ Q'(s_{t+1}, μ'(s_{t+1})|θ^{Q'}) のもとで、勾配ベースの規則（方策勾配と critic 損失）でパラメータを更新するオフポリシー更新で学習する。

実験結果

リサーチクエスチョン

• RQ1 Can a deterministic policy gradient-based actor-critic method scale to high-dimensional continuous action spaces using deep function approximators?
• RQ2 Do replay buffers and target networks enable stable, off-policy learning for continuous control from both low-dimensional and pixel-based observations?
• RQ3 Is end-to-end learning from raw pixels feasible for complex control tasks with DDPG?
• RQ4 How does DDPG compare to planning-based methods when dynamics and derivatives are known?
• RQ5 What is the impact of components like batch normalization and target networks on performance and stability?

主な発見

環境	低次元入力時の平均報酬	低次元入力時の最高報酬	ピクセル入力時の平均報酬	ピクセル入力時の最高報酬	制御時の平均報酬	制御時の最高報酬
blockworld1	1.156	1.511	0.466	1.299	-0.080	1.260
blockworld3da	0.340	0.705	0.889	2.225	-0.139	0.658
canada	0.303	1.735	0.176	0.688	0.125	1.157
canada2d	0.400	0.978	-0.285	0.119	-0.045	0.701
cart	0.938	1.336	1.096	1.258	0.343	1.216
cartpole	0.844	1.115	0.482	1.138	0.244	0.755

• DDPG with replay buffer and soft target networks achieves competitive performance across 20+ continuous-control tasks.
• In several tasks, DDPG policies surpass the performance of a planner with full knowledge of dynamics and derivatives.
• Learning from pixels is feasible for many tasks, achieving similar or superior results to low-dimensional inputs under the same hyper-parameters.
• Target networks (both for actor and critic) are crucial for stability and performance; removing them degrades results.
• Batch normalization aids learning across tasks with differing state scales, enabling broader generalization.
• The algorithm can learn end-to-end from pixels in many environments, with action repeats aiding observability in high-dimensional settings.