[論文レビュー] Learning Deep Neural Network Policies with Continuous Memory States

Marvin Zhang, Zoe McCarthy+3 more|arXiv (Cornell University)|Jul 5, 2015

Reinforcement Learning in Robotics参考文献 24被引用数 8

ひとこと要約

本論文では、部分観測可能な連続制御タスクにおいて記憶を必要とする深層ニューラルネットワーク方策を、記憶状態最適化と方策学習を分離するためのガイドドポリシーシェア（guided policy search）を用いて訓練する手法を提案する。このアプローチにより、方策は重要な情報を記憶・再考することが可能となり、シミュレーテッドな操作およびナビゲーションタスクにおいて、標準的なRNNや直接的ポリシーシェアに比べて優れた性能を発揮する。

ABSTRACT

Policy learning for partially observed control tasks requires policies that can remember salient information from past observations. In this paper, we present a method for learning policies with internal memory for high-dimensional, continuous systems, such as robotic manipulators. Our approach consists of augmenting the state and action space of the system with continuous-valued memory states that the policy can read from and write to. Learning general-purpose policies with this type of memory representation directly is difficult, because the policy must automatically figure out the most salient information to memorize at each time step. We show that, by decomposing this policy search problem into a trajectory optimization phase and a supervised learning phase through a method called guided policy search, we can acquire policies with effective memorization and recall strategies. Intuitively, the trajectory optimization phase chooses the values of the memory states that will make it easier for the policy to produce the right action in future states, while the supervised learning phase encourages the policy to use memorization actions to produce those memory states. We evaluate our method on tasks involving continuous control in manipulation and navigation settings, and show that our method can learn complex policies that successfully complete a range of tasks that require memory.

研究の動機と目的

• 部分観測可能な連続制御タスクにおいて記憶を必要とする深層ニューラルネットワーク方策を訓練する課題に対処すること。
• 高次元で連続的なシステムにおいて、効果的な記憶化と行動選択戦略を同時に学習することの難しさを克服すること。
• 一般用途のポリシーが連続的記憶状態を用いて過去の観測から重要な情報を格納・再取得できるようにすること。
• バックプロパゲーションスパンタイムや複雑なモデルベースのダイナミクス推定を回避するスケーラブルで効率的な訓練手法を開発すること。

提案手法

• ポリシーが読み取り・書き込み可能な連続値の記憶状態を状態空間および行動空間に追加する。
• 各初期状態に対して記憶状態値を最適化するための軌道中心の強化学習アルゴリズム（「教師」）を用い、学習問題を単純化する。
• ガイドドポリシーシェアを用いて、教師の軌道を教師データとして使用し、教師付き学習により深層ニューラルネットワーク方策を訓練する。
• 反復的に教師の軌道を最終ポリシーの行動に合わせて適応させ、ポリシーが記憶状態の活性化を再現できることを保証する。
• 教師がどの情報を格納すべきかを決定する一方で、ポリシーがその状態を再現するように学習することで、記憶状態最適化とポリシー学習を分離する。
• 多層ニューラルネットワークを用いて最終ポリシーを訓練し、多様な初期条件やタスクに一般化できるようにする。

実験結果

リサーチクエスチョン

• RQ1 高次元で部分観測可能な制御タスクに対して、連続的記憶状態を備えた深層ニューラルネットワーク方策は、効果的に訓練可能か？
• RQ2 ガイドドポリシーシェアを用いて記憶状態最適化とポリシー学習を分離することで、エンドツーエンド手法に比べてより安定的かつ効果的な訓練が可能になるか？
• RQ3 本手法は、標準的なRNNベースのポリシーおよび直接的ポリシーシェアに比べて、性能および一般化能力において優れているか？
• RQ4 本手法は、ターゲット位置の記憶や接触フィードバックからの方向検出といった、複雑な記憶依存行動を学習できるか？
• RQ5 フィードフォワードポリシーが物理的状態に記憶を「オフロード」するタスクにおいて、記憶状態がどれほど性能向上に寄与するか？

主な発見

• 提案手法は、ピッグインサーションや垂直・水平スロットへの物体挿入といった、記憶を要する複雑な操作タスクを遂行する方策を効果的に学習した。
• 2次元ナビゲーションおよびリトライーブタスクにおいて、本手法は全4つの初期位置から成功したが、フィードフォワードネットワークは記憶の欠如により失敗し、標準的なLSTMも効果的に最適化できなかった。
• 本手法はRWR（Reproducing Weighted Regression）および標準LSTMポリシーを上回り、すべての初期条件で一貫した行動を学習できなかった。
• フィードフォワードポリシーが物理的状態に記憶をオフロードすることで成功できるタスクでさえ、明示的な記憶状態を備えた本手法は、より優れた一般化性能と信頼性を達成した。
• ガイドドポリシーシェアフレームワークにより、内部記憶を持つ複雑な方策の安定的訓練が可能となり、バックプロパゲーションスパンタイムの必要性を回避できた。
• プロジェクトウェブサイトの補足動画は、学習済み方策が複数のタスクにわたり一貫性があり記憶依存的な行動を示していることを実証している。