[論文レビュー] Recurrent Reinforcement Learning: A Hybrid Approach

Xiujun Li, Lihong Li+5 more|arXiv (Cornell University)|Sep 10, 2015

Reinforcement Learning in Robotics参考文献 27被引用数 48

ひとこと要約

本論文は、部分的に観測可能な環境における隠れ状態表現のための教師あり学習（RNN/LSTMを用いて）と、方策最適化のための深層Qネットワーク（DQN）を組み合わせたハイブリッド深層強化学習フレームワークを提案する。RNN/LSTMとDQNの共同学習は、単独のSLまたはRLモデルを著しく上回り、長期依存性のモデリングが求められるCRMベンチマークで最先端の性能を達成した。

ABSTRACT

Successful applications of reinforcement learning in real-world problems often require dealing with partially observable states. It is in general very challenging to construct and infer hidden states as they often depend on the agent's entire interaction history and may require substantial domain knowledge. In this work, we investigate a deep-learning approach to learning the representation of states in partially observable tasks, with minimal prior knowledge of the domain. In particular, we propose a new family of hybrid models that combines the strength of both supervised learning (SL) and reinforcement learning (RL), trained in a joint fashion: The SL component can be a recurrent neural networks (RNN) or its long short-term memory (LSTM) version, which is equipped with the desired property of being able to capture long-term dependency on history, thus providing an effective way of learning the representation of hidden states. The RL component is a deep Q-network (DQN) that learns to optimize the control for maximizing long-term rewards. Extensive experiments in a direct mailing campaign problem demonstrate the effectiveness and advantages of the proposed approach, which performs the best among a set of previous state-of-the-art methods.

研究の動機と目的

• 完全な状態情報が入手できないが、履歴から推定可能であるような現実世界の強化学習タスクにおける部分的観測の課題に対処すること。
• 隠れ状態の設計に膨大なドメイン知識を要する従来のPOMDPの限界を克服すること。
• 深層学習を活用して、最小限の事前知識で順序付き相互作用履歴から隠れ状態を自動的に推定すること。
• 教師信号による表現学習と強化学習による方策最適化を組み合わせることで、非マルコフ的環境における長期報酬最適化を向上させること。
• ライフタイムバリュー最大化を目的とする実世界のCRMアプリケーションにおいて、RNN/LSTMとDQNの共同学習の有効性を実証すること。

提案手法

• 順序付き相互作用履歴から隠れ状態を推定するための再帰的ニューラルネットワーク（RNN）または長短期記憶（LSTM）ネットワークを教師ありコンponentとして用いる。
• 履歴データから得られる教師信号（次の観測値と報酬）を用いて、RNN/LSTMを学習させ、コンパクトで文脈に依存した状態表現を学習する。
• 推定された隠れ状態を深層Qネットワーク（DQN）に供給し、割引累積報酬を最大化する最適な行動方策を学習する。
• 確率的勾配降下法（SGD）を用いてRNN/LSTMとDQNの両コンponentを共同最適化することで、状態表現と制御方策のエンドツーエンド学習を可能にする。
• 長期間の依存関係が明確に定義された合成データを生成するためのシミュレーション環境（RNNシミュレータ）を用いて、モデル性能を評価する。
• RNNとDQNの共同学習と分離学習を比較することで、結合最適化の利点を検証する。

実験結果

リサーチクエスチョン

• RQ1 教師あり学習（状態表現のため）と強化学習（方策学習のため）を組み合わせたハイブリッドモデルが、部分的観測タスクにおいて単独のSLまたはRLモデルを上回る性能を発揮できるか？
• RQ2 RNN/LSTMによる隠れ状態推定は、文脈ウィンドウベースの手法に比べて、長期依存性をどれほど効果的に捉えられるか？
• RQ3 RNN/LSTMとDQNの共同学習と分離学習の違いが、方策性能に与える影響は何か？
• RQ4 データ収集ポリシー（例：探索的 vs. 確定的）が、低探索設定下でのRLモデル性能に与える影響は何か？
• RQ5 提案されたハイブリッドフレームワークにおいて、データサイズの変化に伴うモデル性能のスケーリング特性はどの程度か？

主な発見

• 提案されたハイブリッドモデル（RL+LSTM）は、CRMベンチマークにおける累積報酬最大化において、DQN、DNN、SLオンリーモデルを含むすべてのベースラインモデルを著しく上回った。
• RL+LSTMは累積報酬9.37を達成し、次に優れたモデル（RL-RNN：8.92）を大きく上回り、LSTMが長期依存性を捉える優位性を示した。
• RNN/LSTMとDQNの共同学習は分離学習よりも優れた性能を発揮した。後者は、学習済み表現の品質とDQNの学習目的との整合性を保てなかった。
• 探索を豊富に含むデータ収集ポリシー（UおよびM）で学習したモデルは一貫して高い性能を示したが、決定的ポリシー（R）では性能が急激に低下し、RLが低探索環境に敏感であることが示された。
• 50K～500Kサンプルのさまざまなデータサイズにおいても、ハイブリッドモデルは一貫した性能向上を示し、データ効率性とロバストネスを確認した。
• 長期依存性モデリングを要するタスクでは、ハイブリッドアプローチの優位性が顕著に現れ、文脈ウィンドウベースのDQNはメモリ容量の制限により失敗した。