[論文レビュー] Memory-based control with recurrent neural networks

Nicolas Heess, Jonathan J. Hunt+2 more|arXiv (Cornell University)|Dec 14, 2015

Reinforcement Learning in Robotics参考文献 33被引用数 219

ひとこと要約

本論文は、時間による誤差逆伝播（BPTT）で訓練される再帰的ニューラルネットワーク（RNN）を用いて、モデルフリー強化学習アルゴリズムを拡張することで、再帰的決定的方策勾配（RDPG）と再帰的確率的価値勾配（RSVG(0)）を提案する。このアプローチは、センサノイズの統合、システム同定、長期記憶タスク、モリス・ウォーターメイズなど、部分的に観測可能な制御問題をピクセルから直接に解決でき、RNNが明示的な信念状態や手作業で設計された観測スタックを必要とせずに、連続制御領域における効果的な記憶ベース制御を可能にすることを示している。

ABSTRACT

Partially observed control problems are a challenging aspect of reinforcement learning. We extend two related, model-free algorithms for continuous control -- deterministic policy gradient and stochastic value gradient -- to solve partially observed domains using recurrent neural networks trained with backpropagation through time. We demonstrate that this approach, coupled with long-short term memory is able to solve a variety of physical control problems exhibiting an assortment of memory requirements. These include the short-term integration of information from noisy sensors and the identification of system parameters, as well as long-term memory problems that require preserving information over many time steps. We also demonstrate success on a combined exploration and memory problem in the form of a simplified version of the well-known Morris water maze task. Finally, we show that our approach can deal with high-dimensional observations by learning directly from pixels. We find that recurrent deterministic and stochastic policies are able to learn similarly good solutions to these tasks, including the water maze where the agent must learn effective search strategies.

研究の動機と目的

• 完全な状態観測が得られない連続制御領域における部分的観測制御の課題に対処すること。
• ノイズの多いセンサデータの短期的統合や、多数のタイムステップにわたる情報の長期的保持を要する環境において、記憶集約型方策の効果的な学習を可能にすること。
• RNNを用いたモデルフリー深層強化学習が、ピクセル観測から直接に、モリス・ウォーターメイズを含む複雑な記憶ベースタスクを解けることを実証すること。
• 再帰的記憶を組み込んだ場合、部分的観測設定において確率的方策と決定的方策のどちらがより優れた性能を示すかを調査すること。
• 手作業で設計された観測スタックや状態表現に依存せずに、高次元の観測（例：生のピクセル）からのエンドツーエンド学習の可能性を検討すること。

提案手法

• 決定的方策勾配（DPG）および確率的価値勾配（SVG(0)）アルゴリズムを拡張し、方策および価値関数の近似に再帰的ニューラルネットワーク（RNN）を用いる。
• 時間差分誤差と方策勾配に基づいて、RNNのパラメータを最適化するため、RNN部品を時間による誤差逆伝播（BPTT）で訓練する。
• 長期依存性の学習を促進し、勾配消失問題を軽減するために、RNNアーキテクチャに長短期記憶（LSTM）ユニットを統合する。
• エクスプロイトネットワーク（アクター）が再帰的隠れ状態に基づいて行動を出力し、評価ネットワーク（クライアント）が状態-行動ペアのQ値を評価する、別個のアクター・クリティック構造を採用する。
• チェーンルールを用いてRNNパラメータに方策勾配更新ルールを適用し、記憶容量を持つ方策ネットワークのエンドツーエンド訓練を可能にする。
• 畳み込みニューラルネットワーク（CNN）とRNNを組み合わせて視覚的特徴を抽出し、時間的記憶を維持することで、高次元の観測からの直接制御を可能にする。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルネットワークは、部分的に観測可能な連続制御タスクにおいて、長期記憶を効果的に符号化・利用できるか？
• RQ2 DPG や SVG(0) のようなモデルフリー方策勾配アルゴリズムにRNNを統合することで、ノイズが多いか不完全な観測を持つ環境でも、頑健な学習が可能になるか？
• RQ3 水路タスクのような記憶集約型制御タスクにおいて、決定的および確率的再帰的方策の性能はどのように比較されるか？
• RQ4 RDPG と RSVG(0) は、観測スタックや手作業で設計された状態表現に依存せずに、生のピクセル入力から効果的な制御方策を学習できるか？
• RQ5 RNNベースの方策は、物理的制御領域におけるシステム同定や長時間スパンの計画といった、複雑な記憶問題をどの程度解けるか？

主な発見

• RDPG と RSVG(0) は、速度フィードバックが欠落している振り子のスイングアップ、未知のポール長さを持つカートポールのスイングアップ、遅延された行動実行を要する長期記憶タスクを含む、さまざまな部分的観測制御問題を効果的に解決した。
• エージェントはノイズの多いセンサ入力を時間経過とともに統合し、振り子やカートポールのようなタスクで状態推定のための効果的な短期記憶を示した。
• 簡略化されたモリス・ウォーターメイズでは、再帰的エージェントが後続の試行で隠れたプラットフォームに到達するまでの時間を著しく短縮し、プラットフォームの位置を効果的に長期記憶したことが示された。
• RDPG は視覚ベースタスクで優れた性能を示し、静止画像から速度を推定し、消えるターゲットを向いて到達させるタスクでターゲット位置を記憶する能力を学習した。
• 確率的および決定的再帰的方策の性能は、タスク全体でほぼ同等であり、部分的観測設定において確率的方策が本質的に優れているという仮定に疑問を呈した。
• このアプローチにより、高次元のピクセル観測からの直接制御が可能となり、RNNが明示的な観測スタックに依存せずに、タイムステップ間で関連情報を維持できることが示された。