[論文レビュー] Multi-task learning with deep model based reinforcement learning

Asier Mujika|arXiv (Cornell University)|Nov 4, 2016

Reinforcement Learning in Robotics参考文献 9被引用数 6

ひとこと要約

本稿では、観測値と行動からの将来の報酬変化を予測することで、複数のアタリゲームを同時に学習するモデルベースのディープ強化学習手法である予測的強化学習（PRL）を提案する。価値ベース手法とは異なり、PRLは世界モデルの学習と方策学習を分離することで、優れたマルチタスク性能を実現し、ブレイクアウト、パング、デモンアタックの3つのゲームで同時に人間の性能を超える。また、ランダムプレイのデモンストレーションから優れた一般化性能を示す。

ABSTRACT

In recent years, model-free methods that use deep learning have achieved great success in many different reinforcement learning environments. Most successful approaches focus on solving a single task, while multi-task reinforcement learning remains an open problem. In this paper, we present a model based approach to deep reinforcement learning which we use to solve different tasks simultaneously. We show that our approach not only does not degrade but actually benefits from learning multiple tasks. For our model, we also present a new kind of recurrent neural network inspired by residual networks that decouples memory from computation allowing to model complex environments that do not require lots of memory.

研究の動機と目的

• モデルフリーのディープQラーニングがタスク数の増加に伴い性能が低下するという限界を是正すること。
• 報酬を教師信号として用いることで、環境ダイナミクスの予測的表現を学習するモデルベースのアプローチを開発すること。
• 性能の低下を伴わずに複数のタスクを同時に学習可能とし、マルチタスク設定における転移学習の利点を検証すること。
• 記憶と計算を明示的に分離する新しい再帰的ニューラルネットワークアーキテクチャを設計すること。

提案手法

• 本手法は、現在の観測値と未来の行動シーケンスを入力として受け取り、kステップ先までの累積報酬を予測する予測モデルを用いる。
• 予測された報酬変化と実際の報酬変化の間の交差エントロピー損失を用いて、完全に教師ありの方法でモデルを訓練する。
• 記憶と計算を明示的に分離することで、訓練の安定性と効率性を向上させる、新しいリーマンスベースの再帰的ネットワークアーキテクチャを導入する。
• 多様な方策（ランダムプレイを含む）を用いて複数のゲームで並列にデータを生成し、最近のデータに重みを付けて繰り返し微調整することで、モデルを最適化する。
• 環境理解と方策実行を分離することで、学習データにない戦略に対してもモデルが一般化可能である。
• シミュレーションを複数のゲームで並列に実行することで、データ生成とモデル訓練の両方を高速化する。

実験結果

リサーチクエスチョン

• RQ1 モデルベースのディープ強化学習アプローチは、マルチタスク学習の場面でモデルフリー手法を上回ることができるか？
• RQ2 複数のタスクを同時に学習すると性能が低下するのか、それとも転移学習の利点が得られるのか？
• RQ3 多様な行動に基づいて学習された予測モデルは、最適な行動に関する直接の教師信号なしに、高性能な方策に一般化可能か？
• RQ4 記憶と計算を分離するリーマンスベースの再帰的ネットワークアーキテクチャは、複雑で長時間にわたる制御タスクにおいて効果的か？

主な発見

• マルチタスクPRLエージェントは、ブレイクアウト、パング、デモンアタックの3つのゲームで同時に人間の性能を超えた。特にブレイクアウトでは、個別学習よりも顕著な向上を示した。
• パングとデモンアタックでは、単一タスク学習と比較して性能が安定または向上しており、マルチタスク学習による性能低下がないことが示された。
• ランダムプレイデータでの1回目の学習イテレーション後、PRLモデルはデモンアタックで1220点を達成し、ランダムプレイ（152点）の7倍以上も優れており、優れた一般化性能を示した。
• 訓練中に見られなかった戦略に対してもモデルが効果的に一般化したことが、純粋にランダムなデモンストレーションデータからのみ学習した場合に高パフォーマンスな方策を学習できたことで裏付けられた。
• 報酬の変化が稀なイベント（例：ゲームオーバー）における忘却の影響により、訓練プロセスに不安定性の兆候が見られ、特にエージェントがめったに死なない状況ではスコアが振動した。