[論文レビュー] MERL: Multi-Head Reinforcement Learning

Yannis Flet-Berliac, Pierre‐Marie Preux|arXiv (Cornell University)|Sep 26, 2019

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、マルチヘッド強化学習の一般化フレームワークMERLを提案する。MERLは、報酬関数とは別に、分散の説明割合（$ olimits^{ex}$）と将来状態の予測という問題特有の知識を、方策勾配更新に組み込む。報酬とこれらの補助的性能指標の両方を最適化することで、MERLはサンプル効率を向上させ、報酬の疎らさの問題を軽減し、連続的制御およびピクセルベースの環境において、標準的なPPOベースラインを上回る転移学習性能を達成する。

ABSTRACT

A common challenge in reinforcement learning is how to convert the agent's interactions with an environment into fast and robust learning. For instance, earlier work makes use of domain knowledge to improve existing reinforcement learning algorithms in complex tasks. While promising, previously acquired knowledge is often costly and challenging to scale up. Instead, we decide to consider problem knowledge with signals from quantities relevant to solve any task, e.g., self-performance assessment and accurate expectations. $\\mathcal{V}^{ex}$ is such a quantity. It is the fraction of variance explained by the value function $V$ and measures the discrepancy between $V$ and the returns. Taking advantage of $\\mathcal{V}^{ex}$, we propose MERL, a general framework for structuring reinforcement learning by injecting problem knowledge into policy gradient updates. As a result, the agent is not only optimized for a reward but learns using problem-focused quantities provided by MERL, applicable out-of-the-box to any task. In this paper: (a) We introduce and define MERL, the multi-head reinforcement learning framework we use throughout this work. (b) We conduct experiments across a variety of standard benchmark environments, including 9 continuous control tasks, where results show improved performance. (c) We demonstrate that MERL also improves transfer learning on a set of challenging pixel-based tasks. (d) We ponder how MERL tackles the problem of reward sparsity and better conditions the feature space of reinforcement learning agents.

研究の動機と目的

• 報酬の疎らさとサンプル非効率性の課題を、タスクに依存しない補助的信号を用いて解決すること。
• タスク固有の再設計を必要とせず、任意のポリシー勾配法および環境に適用可能な汎用フレームワークの開発。
• 自己性能評価と正確な期待値の整合性を持つ表現を学習することで、ポリシーの一般化と転移学習の向上。
• 補助信号（$ olimits^{ex}$と将来状態予測）が学習を正則化し、特徴空間の条件付けを向上させることを実証すること。

提案手法

• 報酬の推定値と実際の報酬の差異を測る指標として、価値関数による分散の説明割合（$ olimits^{ex}$）を導入。
• 方策ネットワークを主報酬目的と$ olimits^{ex}$、将来状態予測の補助ヘッドの両方を最適化するマルチヘッドのアクタ・クリティックフレームワークMERLを設計。
• $ olimits^{ex}$に基づく正則化項を方策勾配の目的関数に組み込み、エージェントの内部表現がタスク関連の性能指標と整合するように改善。
• 一般的に補助タスク学習で用いられる、軽量でタスクに依存しない将来状態予測ヘッドを採用し、特徴学習を向上。
• PPOをベースアルゴリズムとして用い、連続的制御ベンチマーク（MuJoCo）およびピクセルベースのAtari環境にフレームワークを適用。
• 各ヘッドが独立かつ補完的な信号を提供するマルチヘッドアーキテクチャを採用し、最適化のロバスト性と一般化性能を向上。

実験結果

リサーチクエスチョン

• RQ1 方策勾配更新に自己性能評価（$ olimits^{ex}$）を組み込むことで、サンプル効率と学習安定性が向上するか？
• RQ2 $ olimits^{ex}$と将来状態予測ヘッドを組み合わせることで、複雑な制御タスクにおける一般化と転移学習が向上するか？
• RQ3 多様な環境において、MERLは標準PPOと比較して性能とサンプル効率で優れているか？
• RQ4 MERLは、密度で情報豊富な監視信号を提供することで、報酬の疎らさの問題をどの程度軽減できるか？
• RQ5 MERLの補助ヘッドは、Ms. Pac-Manから他のAtariゲームへのタスク間で転送可能な表現を学習できるか？

主な発見

• MERLはMuJoCoベンチマークの全9つの連続的制御タスクで標準PPOを上回り、サンプル効率と最終的な性能が一貫して向上。
• Atari 2600ゲームでは、MERLが転移学習性能に優れ、Ms. Pac-Manから他のゲームへの転移において、標準PPOよりも高い平均性能を達成。
• アブレーションスタディの結果、$ olimits^{ex}$と将来状態予測ヘッドを併用することで、単体での使用より優れた性能が得られ、$ olimits^{ex}$ヘッド単体ではHalfCheetahで性能が低下するが、組み合わせることで改善。
• MERLの計算オーバーヘッドは非常に小さい（MuJoCoで5%、Atariで7%）ため、実世界の展開に実用的。
• MERLのヘッドはタスクに依存しない汎用的表現を学習し、特徴空間の条件付けを向上させ、環境間での一般化を支援。
• フレームワークは、タスクの性能に関する上位レベルのインサイトに最適化を合わせることで、ポリシーネットワークを正則化し、報酬の疎らさへの依存を低減した。