[論文レビュー] Deep Reinforcement Learning for Doom using Unsupervised Auxiliary Tasks

Georgios Papoudakis, Kyriakos C. Chatzidimitriou+1 more|arXiv (Cornell University)|Jul 5, 2018

Reinforcement Learning in Robotics参考文献 4被引用数 5

ひとこと要約

本論文は、非教師付き補助タスク（価値関数リプレイ、報酬予測、ピクセル制御）を組み込んだ非同期アドバンテージアクターキャリブレーター（A3C）フレームワークを用いて、複雑な1人称シューティングゲームDoom用の深層強化学習エージェントを提案する。統合エージェントは、未知の環境において、特化した行動エージェントを上回り、物体収集量と主要指標における統計的有意性が著しく向上し、補助学習による一般化性能の向上を示している。

ABSTRACT

Recent developments in deep reinforcement learning have enabled the creation of agents for solving a large variety of games given a visual input. These methods have been proven successful for 2D games, like the Atari games, or for simple tasks, like navigating in mazes. It is still an open question, how to address more complex environments, in which the reward is sparse and the state space is huge. In this paper we propose a divide and conquer deep reinforcement learning solution and we test our agent in the first person shooter (FPS) game of Doom. Our work is based on previous works in deep reinforcement learning and in Doom agents. We also present how our agent is able to perform better in unknown environments compared to a state of the art reinforcement learning algorithm.

研究の動機と目的

• Doomのような複雑で報酬が疎な環境では、従来の深層強化学習が、高次元の状態空間と遅延報酬のため、性能を発揮しにくいという課題に対処すること。
• 追加の監督信号を必要とせず、非教師付き補助タスクを組み込むことで、深層強化学習のサンプル効率と一般化性能を向上させること。
• 行動とナビゲーションのための別個エージェントを訓練する分割統治アプローチが、1つのエージェントに統合された場合、未知環境でより優れた性能を発揮するかを評価すること。
• 補助タスクが、Doomのような高次元の視覚環境における特徴学習とポリシー性能をどのように向上させるかを実証すること。

提案手法

• エージェントは、方策と価値ネットワークに共有された畳み込み層を備えた非同期アドバンテージアクターキャリブレーター（A3C）フレームワークを採用し、行動とナビゲーションのための別々の出力ヘッドを設ける。
• 3つの非教師付き補助タスクを導入：価値関数リプレイ（経験リプレイを再訓練して価値関数学習の安定化）、報酬予測（状態遷移から将来の報酬を予測）、ピクセル制御（潜在表現から入力フレームを再構築）。
• 補助タスクは、主な強化学習目的と同時に学習され、マルチタスク損失関数を用いて、合計損失が方策損失、価値損失、および補助タスク損失の合算として定義される。
• 方策と価値ネットワークは、並列環境から収集した経験を用いて確率的勾配降下法で訓練され、グローバルネットワークへの非同期更新が行われる。
• ナビゲーションエージェントは、多数の収集可能なオブジェクトを持つ密度報酬環境で事前学習され、行動エージェントは多数の敵が存在する環境で訓練され、キル数を最大化することを目的とする。
• 両エージェントの方策ヘッドを統合することで、キルとオブジェクト収集の両方を同時に追求できる統合エージェントが構築される。

実験結果

リサーチクエスチョン

• RQ1 非教師付き補助タスクは、Doomのような複雑な3D環境における深層強化学習のサンプル効率と一般化性能を向上させることができるか？
• RQ2 行動とナビゲーションのための特化エージェントを別々に訓練する分割統治アプローチが、1つのエージェントに統合された場合、より優れた性能を発揮するか？
• RQ3 報酬が疎な未知環境において、統合エージェントの性能は特化した行動エージェントと比較してどうなるか？
• RQ4 補助タスクは、追加の報酬信号を必要としない状況で、特徴学習とポリシー性能をどの程度向上させるか？

主な発見

• 統合エージェントは、既知の環境（Known 3）で116.8のオブジェクト収集量を達成した一方、行動エージェントは7.57キル、6.53死亡と低く、ナビゲーションとオブジェクト収集の性能が優れていることが示された。
• 未知環境（Unknown 1）では、オブジェクト収集（20.19 vs. 5.46）とキル数（5.89 vs. 4.99）の両方で、統合エージェントが行動エージェントを上回り、ほとんどの指標で統計的有意性（p < 0.05）が確認された。
• Known 3では、統合エージェントが116.8のオブジェクトを収集したのに対し、行動エージェントは62.4であった。p値は6.08×10⁻⁸であり、顕著な改善が示された。
• 行動エージェントは、期待通り、既知のマップ（例：Known 3）でキル数（14.7キル）と死亡数の点で優れていたが、オブジェクト収集では劣っていた。
• 統計的t検定により、すべての環境でオブジェクト収集量と死亡数の改善が有意であった（p < 0.05）、Known 2でのオブジェクト収集ではp値が1.56×10⁻¹¹まで低下した。
• 補助タスクの導入により、より安定的かつ一般化可能なポリシーが得られ、報酬が疎な状況下でも未確認マップに効果的に適応できるようになった。