[論文レビュー] Graph Attention Memory for Visual Navigation

Dong Li, Qichao Zhang+6 more|arXiv (Cornell University)|May 11, 2019

Multimodal Machine Learning Applications参考文献 28被引用数 8

ひとこと要約

本稿では、視覚的ナビゲーションのための新しいメモリアーキテクチャであるGraph Attention Memory (GAM)を提案する。GAMは、探索の事前知識からトポロジカルグラフを構築し、グラフアテンション機構を用いて誘導された特徴を抽出し、深層強化学習と統合して意思決定を実現する。GAMベースのエージェントは、複雑な3D迷路において著しく高速な学習と100%の成功確率を達成し、反応的およびLSTMベースのベースラインを上回る性能を示す。特に長時間のナビゲーションタスクにおいて顕著な優位性を示す。

ABSTRACT

Visual navigation in complex environments is inefficient with traditional reactive policy or general-purposed recurrent policy. To address the long-term memory issue, this paper proposes a graph attention memory (GAM) architecture consisting of memory construction module, graph attention module and control module. The memory construction module builds the topological graph based on supervised learning by taking the exploration prior. Then, guided attention features are extracted with the graph attention module. Finally, the deep reinforcement learning based control module makes decisions based on visual observations and guided attention features. Detailed convergence analysis of GAM is presented in this paper. We evaluate GAM-based navigation system in two complex 3D environments. Experimental results show that the GAM-based navigation system significantly improves learning efficiency and outperforms all baselines in average success rate.

研究の動機と目的

• 深層強化学習を用いた視覚的ナビゲーションにおける長期記憶の制限を解決すること。
• 反応的ポリシーおよび汎用的なRNN（LSTMなど）が失敗するような複雑な3D環境における学習効率と一般化性能の向上。
• 環境のレイアウトと時間的関係を効果的に捉える外部メモリモジュールの開発。
• トレーニング分布を超えた新たな初期位置およびゴール位置への一般化を可能にすること。
• メモリモジュール内での提案されたグラフアテンション機構の理論的収束解析の提供。

提案手法

• メモリ構築モジュールは、探索中に収集した視覚的観測を用いて、ペアワイズ類似度測定によりキーランドマークを特定することで、トポロジカルグラフを構築する。
• グラフアテンションモジュールは、トポロジカルグラフ上でソフトアテンション機構を適用し、隣接ノードからの誘導されたアテンション特徴を抽出する。
• アテンション機構は、関連する空間的・時間的文脈に注目できるように、学習可能なアテンション重みを有するグラフ畳み込みネットワークで実装される。
• DRL制御モジュールは、視覚的観測と誘導されたアテンション特徴を用いて行動を予測し、共有ポリシーと価値ネットワークを用いて強化学習で訓練される。
• GAMモジュールはプラグイン型のコンポONENTとして設計されており、任意のDRLアーキテクチャと互換性があり、モジュラー統合が可能である。
• 再帰的な誘導アテンション特徴抽出プロセスの理論的収束解析が提供され、学習における安定性を保証する。

実験結果

リサーチクエスチョン

• RQ1 アテンション機構を備えたトポロジカルグラフメモリは、視覚的ナビゲーションにおける長期記憶保持を改善できるか？
• RQ2 グラフアテンション機構は、反応的ポリシーやLSTMベースのポリシーと比較して、特徴表現をどのように向上させるか？
• RQ3 GAMベースのシステムは、複雑な3D迷路においてより高速な学習収束と高い成功確率を達成できるか？
• RQ4 トレーニング済みエージェントは、環境内での未観測の初期位置およびゴール位置にも一般化できるか？
• RQ5 提案されたグラフアテンション機構は、学習ダイナミクスの下で理論的に安定かつ収束するか？

主な発見

• GAMベースのエージェントは迷路2において100%の成功確率を達成したのに対し、すべてのベースラインはわずか10%にとどまり、複雑で長時間のナビゲーションタスクにおいて顕著な優位性を示した。
• GAMエージェントはすべてのベースラインよりも高速に学習し、より高いエピソード報酬に収束した。迷路1では最終スコア132.05、迷路2では100.5を記録した。
• エージェントは全6つの未踏の初期位置および全6つの未踏のゴール位置からも目的に到達でき、強力な一般化能力を確認した。
• 構築されたグラフメモリの可視化結果から、遠く離れたノードや壁で遮断されたノード間には誤った接続が存在せず、正確なトポロジカル表現であることが示された。
• ナビゲーションの軌道はジャイロスコープ的な不規則な行動を示さず滑らかであった。これは、誘導されたアテンション特徴が安定したポリシー行動を可能にしたことを示している。
• 理論的収束解析により、再帰的アテンション特徴抽出プロセスの安定性が確認され、信頼できる学習ダイナミクスを支持する。