[論文レビュー] Discovering Reinforcement Learning Algorithms

Junhyuk Oh, Matteo Hessel+5 more|arXiv (Cornell University)|Jul 17, 2020

Reinforcement Learning in Robotics参考文献 45被引用数 62

ひとこと要約

この論文は LPG というメタ学習フレームワークを提示し、何を予測するかとブートストラップの方法を共同で学習することで、 toy 環境から Atari ゲームへの一般化を可能にする完全な RL 更新規則を発見する。LPG は予測とブートストラッピングの独自の意味論を学習し、データから汎用的な RL アルゴリズムを生み出す可能性がある。

ABSTRACT

Reinforcement learning (RL) algorithms update an agent's parameters according to one of several possible rules, discovered manually through years of research. Automating the discovery of update rules from data could lead to more efficient algorithms, or algorithms that are better adapted to specific environments. Although there have been prior attempts at addressing this significant scientific challenge, it remains an open question whether it is feasible to discover alternatives to fundamental concepts of RL such as value functions and temporal-difference learning. This paper introduces a new meta-learning approach that discovers an entire update rule which includes both 'what to predict' (e.g. value functions) and 'how to learn from it' (e.g. bootstrapping) by interacting with a set of environments. The output of this method is an RL algorithm that we call Learned Policy Gradient (LPG). Empirical results show that our method discovers its own alternative to the concept of value functions. Furthermore it discovers a bootstrapping mechanism to maintain and use its predictions. Surprisingly, when trained solely on toy environments, LPG generalises effectively to complex Atari games and achieves non-trivial performance. This shows the potential to discover general RL algorithms from data.

研究の動機と目的

• RL 更新規則をデータから自動的に発見する動機づけ。
• 予測ターゲットと学習メカニズムの両方を共同で発見するメタ学習フレームワークを開発する。
• 多様な環境をまたいで一般化できる更新規則（LPG）を生成する。
• 発見された意味論が価値関数とブートストラッピングに類似しているかを調査する。
• toy 環境から複雑な Atari ベンチマークへの一般化を実証する。

提案手法

• Learned Policy Gradient (LPG) を提案する。これはメタパラメータでパラメータ化された更新規則アーキテクチャで、方針と予測ターゲットを出力する。
• エージェントの軌跡入力を処理してエージェント出力（hat{pi}, hat{y}）のターゲットを生成するためにバックワード LSTM を用いる。
• KL発散を基盤とする学習信号と補助的な予測更新項でエージェント更新を定義する。
• 環境分布に跨ってエージェント更新を逆伝播することで LPG をメタ訓練し、終端ライフタイムのリターンを最大化する。
• エントロピーと L2 項でメタ学習プロセスを正則化し、トレーニングの安定化と有用な予測意味論を促進する。
• オンラインで環境特有のハイパーパラメータをバンドット風のスキームでバランスさせ、メタ訓練の安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 LPG は RL におけるブートストラッピングの有用な予測意味論を発見できるか。
• RQ2 LPG はどんな予測意味論を学習し、それらは価値関数に近いものか。
• RQ3 パフォーマンスのためには予測意味論の発見がポリシー更新の学習よりも重要か。
• RQ4 提案された正則化とハイパーパラメータのバランシングは安定したメタ訓練に不可欠か。
• RQ5 LPG は toy 環境で訓練すると Atari ゲームへ一般化できるか。

主な発見

• LPG はいくつかの訓練環境で標準的なベースライン（A2C）を上回り、有用な更新規則の発見に成功したことを示す。
• 発見された予測 y は価値関数に類似する性質を示し、ポリシー更新をブーストできる。
• 予測意味論は収束保証がなくても定常的な意味を収束させる。
• アブレーション研究により、正則化とハイパーパラメータのバランシングがトレーニングの安定性と性能に不可欠であることが示された。
• toy 環境で訓練した LPG は Atari のいくつかのゲームへ一般化し、いくつかのケースで競合する性能を達成した。