[論文レビュー] Multi-task Deep Reinforcement Learning with PopArt

Matteo Hessel, Hubert Soyer+4 more|arXiv (Cornell University)|Sep 12, 2018

Reinforcement Learning in Robotics参考文献 51被引用数 24

ひとこと要約

本論文では、マルチタスク深層強化学習におけるPopArt正規化を提案し、1つのエージェントが複数のタスクを同時に学習可能にし、タスク間の更新寄与度をバランスさせる。価値関数の更新を報酬スケールや疎らさに不変にすることで、最先端の性能を達成した。57種類のAtariゲームでは中程度の人間性能を超えており、30種類のDeepMind Labタスクでは平均72.8%のスコアを記録した。これは、共有重みを持つ1つのポリシーで達成された。

ABSTRACT

The reinforcement learning community has made great strides in designing algorithms capable of exceeding human performance on specific tasks. These algorithms are mostly trained one task at the time, each new task requiring to train a brand new agent instance. This means the learning algorithm is general, but each solution is not; each agent can only solve the one task it was trained on. In this work, we study the problem of learning to master not one but multiple sequential-decision tasks at once. A general issue in multi-task learning is that a balance must be found between the needs of multiple tasks competing for the limited resources of a single learning system. Many learning algorithms can get distracted by certain tasks in the set of tasks to solve. Such tasks appear more salient to the learning process, for instance because of the density or magnitude of the in-task rewards. This causes the algorithm to focus on those salient tasks at the expense of generality. We propose to automatically adapt the contribution of each task to the agent's updates, so that all tasks have a similar impact on the learning dynamics. This resulted in state of the art performance on learning to play all games in a set of 57 diverse Atari games. Excitingly, our method learned a single trained policy - with a single set of weights - that exceeds median human performance. To our knowledge, this was the first time a single agent surpassed human-level performance on this multi-task domain. The same approach also demonstrated state of the art performance on a set of 30 tasks in the 3D reinforcement learning platform DeepMind Lab.

研究の動機と目的

• マルチタスク強化学習における、複数のタスク間で報酬スケールや疎らさの違いによって生じる学習ダイナミクスの不均衡を解消すること。
• 個々のタスクのパフォーマンスを犠牲にすることなく、1つのエージェントが複数の多様なタスクを同時に学習できることを実現すること。
• 各タスクの学習更新への寄与度を自動で適応的に調整する手法を開発し、すべてのタスクがポリシー最適化に同等の影響を与えるようにすること。
• 報酬の大きさや疎らさに依存しない価値関数の更新により、並列マルチタスクRLにおけるデータ効率と訓練安定性を向上させること。
• 1つの共有ポリシーが広範な環境セットにおいて中程度の人間性能を超えることができることを示し、マルチタスクRLにおける重要なマイルストーンを達成すること。

提案手法

• 本手法は、エイクタークリティックネットワークの価値関数ヘッドにPopArt正規化を適用し、状態価値のスケール不変推定を維持する。
• PopArtは、リターンの平均と標準偏差の累積推定値を用いて価値関数出力を正規化し、バックプロパゲーションを必要としない適応的更新を実施する。
• 正規化パラメータ（μとσ）は、β = 3×10⁻⁴の減衰率を用いてトレーニング中にオンラインで更新され、安定性を確保し、数値的問題を回避する。
• 元の出力スケールを保持する線形変換を用いた修正された損失関数により、価値推定の整合性が維持される。
• アプローチはIMPALAフレームワークに統合され、正規化統計量のオンライン更新と、標準的なエイクタークリティック更新が順次適用される。
• ハイパーパramータは、人口ベース学習（PBT）を用いてチューニングされ、βや正規化バウンズの手動チューニングは不要である。

実験結果

リサーチクエスチョン

• RQ1 1つのディープ強化学習エージェントが、すべてのタスクでバランスの取れたパフォーマンスを達成できるように、複数の多様なタスクを同時にマスターできるか？
• RQ2 タスク間で報酬スケールや疎らさの違いが生じる状況において、特定のタスクが学習ダイナミクスを支配するのを防ぐにはどうすればよいか？
• RQ3 標準的な価値関数更新と比較して、PopArt正規化はマルチタスク深層RLにおけるデータ効率と訓練安定性を向上させるか？
• RQ4 1つの共有ポリシーが、Atari-57 や DmLab-30 のような多数の環境でスーパーヒューマン性能を達成できるか？
• RQ5 スケール不変価値関数学習は、マルチタスクRL設定において、より優れた一般化性能を実現するのにどの程度寄与するか？

主な発見

• 提案手法であるPopArtベースのアプローチは、57種類のAtariベンチマークで中央値の人間正規化スコア110%を達成し、1つの共有ポリシーで中程度の人間性能を超えた。
• 30レベルのDeepMind Labベンチマークでは、平均の人間正規化スコア72.8%を達成し、マルチタスクRLにおける新たなSOTAを樹立した。
• 適応的正規化による価値関数更新のおかげで、最小限の計算オーバーヘッドでデータ効率が向上した。
• 報酬の大きさや疎らさが著しく異なるタスク間でも、学習がバランスよく進行し、特定のタスクがトレーニングを支配することを防げた。
• 結果から、1つのエージェントが多様な環境に一般化でき、同時に多数のタスクで人間レベルを超えるパフォーマンスを達成できることを示した。
• 本手法はIMPALAのような既存のマルチタスクRLフレームワークと互換性があり、ポリシー蒸留やアクティブサンプリングなどの他の技術と組み合わせて利用可能である。