[論文レビュー] A Critical Investigation of Deep Reinforcement Learning for Navigation

Vikas Dhiman, Shurjo Banerjee+3 more|arXiv (Cornell University)|Feb 7, 2018

Reinforcement Learning in Robotics参考文献 17被引用数 22

ひとこと要約

本研究では、さまざまな環境において、深層強化学習（DRL）エージェントのマップ情報の探索および活用能力を体系的に評価する。独自の実験スイートを用いて、DRLエージェントが同一マップ上で訓練およびテストされた場合にのみ、マップ知識を的確に収集・活用できることを発見した。エージェントは、未観測のマップへの一般化に失敗し、ランダムなゴールを有する静的マップにおいても最適な経路効率を達成できないことが判明した。

ABSTRACT

The navigation problem is classically approached in two steps: an exploration step, where map-information about the environment is gathered; and an exploitation step, where this information is used to navigate efficiently. Deep reinforcement learning (DRL) algorithms, alternatively, approach the problem of navigation in an end-to-end fashion. Inspired by the classical approach, we ask whether DRL algorithms are able to inherently explore, gather and exploit map-information over the course of navigation. We build upon Mirowski et al. [2017] work and introduce a systematic suite of experiments that vary three parameters: the agent's starting location, the agent's target location, and the maze structure. We choose evaluation metrics that explicitly measure the algorithm's ability to gather and exploit map-information. Our experiments show that when trained and tested on the same maps, the algorithm successfully gathers and exploits map-information. However, when trained and tested on different sets of maps, the algorithm fails to transfer the ability to gather and exploit map-information to unseen maps. Furthermore, we find that when the goal location is randomized and the map is kept static, the algorithm is able to gather and exploit map-information but the exploitation is far from optimal. We open-source our experimental suite in the hopes that it serves as a framework for the comparison of future algorithms and leads to the discovery of robust alternatives to classical navigation methods.

研究の動機と目的

• 深層強化学習（DRL）エージェントがナビゲーション中に、環境のマップ情報を内蔵的に学習し、探索および活用できるかを調査すること。
• 異なる迷路構造、スポーン位置、ゴール位置において、DRLエージェントの一般化能力を評価すること。
• ゴールがランダム化された場合に、DRLエージェントが近似最短経路をどれほど発見・追従できるかを測定すること。
• 探索と活用のパフォーマンスを明確に分離するために、新たな評価指標「Latency-1:>1」と「Distance-inefficiency」を提案・適用すること。
• 今後のDRLナビゲーションアルゴリズムのベンチマークに使用可能な包括的な実験フレームワークをオープンソース化すること。

提案手法

• エージェントの出発位置、ターゲットゴール位置、迷路構造の3つの主要パラメータを変化させた体系的な実験スイートを構築した。
• Mirowskiら（2017）が提唱したNavA3C+D1 D2Lアルゴリズムを用いて、固定およびランダムなマップ構成でDRLエージェントを訓練した。
• 2つの新たな評価指標を導入した：活用能力を測るための「Latency-1:>1」（最初のゴール到着時間 / 平均再訪問時間の比）、経路最適性を評価するための「Distance-inefficiency」（実際の経路長 / 最短経路長）。
• 4つの設定で実験を実施した：同じマップ（静的）、静的マップ上のランダムゴール、静的マップ上のランダムスポーン、1000のマップで訓練し100の未観測マップでテスト。
• 勾配に基づく注目可視化（LIME風）を用いて、ナビゲーション中にエージェントがどの視覚領域に注目しているかを分析した。
• 各テスト条件で100エピソード分の結果を報告し、標準偏差を併記することで統計的信頼性を確保した。

実験結果

リサーチクエスチョン

• RQ1 DRLエージェントは、同じマップ構造で訓練およびテストされた場合、効果的にマップ情報を収集・活用できるか？
• RQ2 DRLエージェントは、未観測の迷路構造へ、マップ探索および活用能力をどれほど一般化できるか？
• RQ3 ゴール位置のランダム化が、エージェントが学習したマップ表現を活用する能力にどのように影響するか？
• RQ4 ゴールがランダム化された場合でさえ、静的マップ上ではDRLエージェントが最短経路にどれほど近づけるか？
• RQ5 ナビゲーション中にDRLエージェントがどの視覚特徴に注目しているか、そしてその注目が効果的な経路計画と相関しているか？

主な発見

• 同じマップで訓練およびテストされた場合、DRLエージェントはLatency-1:>1比が1より大きい値を示し、マップ情報の効果的な活用が確認された。
• ランダムゴールを有する静的マップでは、エージェントのDistance-inefficiencyは約1に達しており、探索中に近似的に最適な経路が発見されたことが示された。
• 1000の異なるマップで訓練し、100の未観測マップでテストした場合、エージェントは一般化に失敗した：Squareマップではわずか50.4%（±12.8%）の確率で最短経路を踏んだ。
• Goalマップでは、最短経路が踏まれた確率は42.6%（±35.1%）にとどまり、長期間の訓練を経てもランダムな選択と同等の性能にとどまり、顕著な劣化が見られた。
• 注目可視化の結果、エージェントは入力画像の中央帯に限定的に注目しており、完全なマップ理解ではなく、限定的な視覚的手がかりに依存していることが示された。
• 固定環境ではゴールを素早く再訪問できるように学習したが、ゴールがランダム化された場合には、マップ構造を最適な経路計画に活用する能力を学習できなかった。