[論文レビュー] Playing Doom with SLAM-Augmented Deep Reinforcement Learning

Shehroze Bhatti, Alban Desmaison+4 more|arXiv (Cornell University)|Dec 1, 2016

Reinforcement Learning in Robotics参考文献 38被引用数 46

ひとこと要約

本論文は、オブジェクト検出とSLAMを用いて走時的に得られる意味的およびトポロジカルマップを深層Qネットワーク（DQN）に統合することで、3次元環境における方策学習の性能を向上させる手法を提案する。リアルタイムに再構築された意味的マップ（RSM）をDQNの入力に組み込むことで、標準DQNや優れたDQN変種（優先順位付き経験リプレイやデュアルネットワークを組み合わせたもの）を上回る性能を示し、Doomという3次元1人称視点ゲームにおいて顕著な改善が得られた。

ABSTRACT

A number of recent approaches to policy learning in 2D game domains have been successful going directly from raw input images to actions. However when employed in complex 3D environments, they typically suffer from challenges related to partial observability, combinatorial exploration spaces, path planning, and a scarcity of rewarding scenarios. Inspired from prior work in human cognition that indicates how humans employ a variety of semantic concepts and abstractions (object categories, localisation, etc.) to reason about the world, we build an agent-model that incorporates such abstractions into its policy-learning framework. We augment the raw image input to a Deep Q-Learning Network (DQN), by adding details of objects and structural elements encountered, along with the agent's localisation. The different components are automatically extracted and composed into a topological representation using on-the-fly object detection and 3D-scene reconstruction.We evaluate the efficacy of our approach in Doom, a 3D first-person combat game that exhibits a number of challenges discussed, and show that our augmented framework consistently learns better, more effective policies.

研究の動機と目的

• 部分観測性、報酬の疎らさ、高次元の状態空間といった、複雑な3次元環境における標準的深層強化学習（DRL）の限界を克服すること。
• 人間の空間的および意味的抽象化（例：オブジェクトの種別、位置、トポロジカル構造）を統合することで、3次元ゲーム環境における方策学習が改善されるかを調査すること。
• 真の地図が不要な状態で、リアルタイムに自動的に再構築された意味的マップ（RSM）をDQNの入力補強として用いることの実現可能性と有効性を実証すること。
• 真の地図（OSM）と再構築された意味的マップ（RSM）の性能差を評価し、実世界のコンピュータビジョンの誤差に対する耐性を検証すること。
• 標準DRLエージェントに環境の抽象化を統合するスケーラブルなフレームワークを確立し、3次元空間的領域におけるより良い一般化と探索を可能とすること。

提案手法

• SLAMとディープラーニングを用いて、走時的な3次元シーン再構築とオブジェクト検出を統合し、リアルタイムで意味的マップを生成する。
• 検出されたオブジェクト（例：敵、回復アイテム）とエージェントの位置情報を統合して、意味的マップに統合されたトポロジカル表現を構築する。
• 深層Qネットワーク（DQN）の生のピクセル入力に、この意味的マップ表現を追加の入力モodalとして統合する。
• 畳み込みニューラルネットワーク（CNN）を用いた標準DQNアーキテクチャを採用し、視覚的および意味的入力を統合して行動選択を実行する。
• 経験リプレイと時系列差分学習を用いてモデルを学習させ、Doomにおける生存とタスク完了を促進するように報酬を形状化する。
• 3つの入力（生ピクセルのみ（ベースライン）、真の意味的マップ（オラクル）、リアルタイム処理から得た再構築意味的マップ（RSM））を用いて性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムに再構築された意味的マップをDQNに補強することで、Doomのような複雑な3次元ゲームにおける学習効率と方策性能が向上するか？
• RQ2 再構築意味的マップ（RSM）を用いたDQNエージェントの性能は、真の意味的マップ（OSM）を用いたDQNおよび標準DQNと比べてどの程度か？
• RQ3 意味的およびトポロジカルな抽象化は、3次元環境における部分観測性と報酬の疎らさの影響をどの程度軽減できるか？
• RQ4 意味的マップの統合により、環境の異なる初期状態にわたる一般化性の高い方策が得られるか？
• RQ5 提案手法は、類似した空間的およびオブジェクトレベルの構造を持つ他の3次元環境へも、ドメイン特化の修正なしに適用可能か？

主な発見

• 再構築意味的マップ（RSM）を補強したDQNエージェントは、平均実行時間の観点で標準DQNベースラインを著しく上回り、生存性と探索性の両方が向上した。
• オブジェクト検出やSLAMに不完全さが存在する状態でも、RSM補強エージェントは標準DQNとは対照的に、真の意味的マップ（OSM）ベースラインに非常に近い性能を達成しており、実世界のビジョン誤差に対する耐性があることが示された。
• RSM補強DQNは、優先順位付き経験リプレイとデュアルネットワークを組み合わせた最先端のDQN変種（dDQN）をも凌駕したが、DQNアーキテクチャ自体はより単純であった。
• 意味的マップを用いたエージェントは、特に任意の初期位置からのシナリオにおいて、環境の累積的かつトポロジカルな理解を維持できるため、一般化性能に優れていた。
• RSMとOSMの性能差は測定可能ではあったが、相対的に小さく、現行の市販コンピュータビジョンパイプラインがこの文脈において有効なマップ再構築に十分であることを示唆している。
• 本手法は、優先順位付き経験リプレイやデュアルネットワークといった既存のDRL改善手法と直交しているため、今後の統合によってさらなる性能向上が見込まれる。