[論文レビュー] Learning to reinforcement learn

Jane X. Wang, Zeb Kurth‐Nelson+7 more|arXiv (Cornell University)|Nov 17, 2016

Reinforcement Learning in Robotics参考文献 32被引用数 379

ひとこと要約

本論文は、深層メタ強化学習を紹介する。1つのRLアルゴリズムで訓練された再帰的ネットワークが、最終的に別の学習済みRL手続を実装し、タスクを横断して急速に適応する。バンディットとMDP設定における7件の概念実証実験を通じてアプローチを検証する。

ABSTRACT

In recent years deep reinforcement learning (RL) systems have attained superhuman performance in a number of challenging task domains. However, a major limitation of such applications is their demand for massive amounts of training data. A critical present objective is thus to develop deep RL methods that can adapt rapidly to new tasks. In the present work we introduce a novel approach to this challenge, which we refer to as deep meta-reinforcement learning. Previous work has shown that recurrent networks can support meta-learning in a fully supervised context. We extend this approach to the RL setting. What emerges is a system that is trained using one RL algorithm, but whose recurrent dynamics implement a second, quite separate RL procedure. This second, learned RL algorithm can differ from the original one in arbitrary ways. Importantly, because it is learned, it is configured to exploit structure in the training domain. We unpack these points in a series of seven proof-of-concept experiments, each of which examines a key aspect of deep meta-RL. We consider prospects for extending and scaling up the approach, and also point out some potentially important implications for neuroscience.

研究の動機と目的

• 深層RLにおける急速適応の必要性を大規模データ要件やタスク特化以上の観点から動機付ける。
• 再帰的ネットワークが別のRLアルゴリズムで訓練されつつ、自らのRL手続きを実装するフレームワークを提案する。
• 学習したRL手続がタスク構造を活用し、新しいタスクへ適応できることを概念実証実験を通じて示す。
• 適応的探索-利用、バンディットの学習-to-learn、MDPの構造学習などの側面を調査する。
• 深層メタRLの拡張可能性と神経科学への示唆の可能性について議論する。

提案手法

• 関連するMDPタスクの分布に対して累積報酬を最大化するため RL アルゴリズムで再帰的ニューラルネットワーク（LSTM）を訓練する。
• 前の行動と受け取った報酬を含むネットワーク入力を供給して内部学習ダイナミクスを誘発する。
• 再帰的ダイナミクスは outer 訓練アルゴリズムとは異なる別のRL手続を学習する。
• 価値/方策損失とエントロピー正則化を用いたAdvantage Actor-Critic（A2C/A3C）でネットワークを訓練する。
• 適応的学習率とタスク構造の活用を評価するため、複数のメタ学習タスク（バンディットとMDP）で評価する。

実験結果

リサーチクエスチョン

• RQ1 1つのRLアルゴリズムで訓練された再帰ネットワークは、新しいタスクへ適応する内部RL戦略を開発できるか。
• RQ2 学習したRL手続はタスク構造を活用して、さまざまな環境でより速い適応と低い後悔を達成できるか。
• RQ3 メタRLは変化する環境で適応的探索と学習率の調整をどの程度示せるか。
• RQ4 メタRLは関連タスク間および僅かに変更されたタスク分布の間で一般化できるか。
• RQ5 神経科学のモデルベース/モデルフリーの識別との並行性について、これらの結果は何を示すか。

主な発見

• メタRLシステムは、再帰的ダイナミクス内に訓練RL手続と異なる別個の学習済みRLアルゴリズムを内在的に学習する。
• 学習したRL手続は観測されたタスク統計に応じて探索と学習率を適応させ、効率を改善する。
• 構造化されたバンディットタスクでエージェントはアーム間の相関を活用し、いくらかの設定でベイズの基準と同程度の性能を発揮する。
• 構造分布で訓練すると独立タスクでの性能が低下する可能性があり、逆もまた然りで、事前知識依存の学習を示す。
• 2段階タスクの変種では、モデルフリーの訓練が特定の分析でモデルベースの制御に似た行動を生み出すことがあり、学習戦略の分岐を示す。
• メタRLは揺れのある環境で適応的な学習率を示し、固定レートのベースラインや従来のRL手法を上回る。