[論文レビュー] Improving Target-driven Visual Navigation with Attention on 3D Spatial Relationships

Yunlian Lv, Ning Xie+3 more|arXiv (Cornell University)|Apr 29, 2020

Multimodal Machine Learning Applications参考文献 63被引用数 21

ひとこと要約

本稿では、3次元空間的関係性を捉えるための3次元知識グラフ（KG）とグラフ畳み込みネットワーク（GCN）を統合し、サブターゲットを生成するターゲットスキル拡張（TSE）モジュールを導入することで、3次元環境内におけるターゲット駆動型ビジョナルナビゲーションのための新規な深層強化学習フレームワークを提案する。この手法により、空間的関係性への注目が強化され、失敗からの学習が可能となり、AI2-THORにおけるSRおよびSPL指標においてベースラインを上回る優れた性能を達成した。

ABSTRACT

Embodied artificial intelligence (AI) tasks shift from tasks focusing on internet images to active settings involving embodied agents that perceive and act within 3D environments. In this paper, we investigate the target-driven visual navigation using deep reinforcement learning (DRL) in 3D indoor scenes, whose navigation task aims to train an agent that can intelligently make a series of decisions to arrive at a pre-specified target location from any possible starting positions only based on egocentric views. However, most navigation methods currently struggle against several challenging problems, such as data efficiency, automatic obstacle avoidance, and generalization. Generalization problem means that agent does not have the ability to transfer navigation skills learned from previous experience to unseen targets and scenes. To address these issues, we incorporate two designs into classic DRL framework: attention on 3D knowledge graph (KG) and target skill extension (TSE) module. On the one hand, our proposed method combines visual features and 3D spatial representations to learn navigation policy. On the other hand, TSE module is used to generate sub-targets which allow agent to learn from failures. Specifically, our 3D spatial relationships are encoded through recently popular graph convolutional network (GCN). Considering the real world settings, our work also considers open action and adds actionable targets into conventional navigation situations. Those more difficult settings are applied to test whether DRL agent really understand its task, navigating environment, and can carry out reasoning. Our experiments, performed in the AI2-THOR, show that our model outperforms the baselines in both SR and SPL metrics, and improves generalization ability across targets and scenes.

研究の動機と目的

• 未学習のターゲットやシーンにまでスキルを転送できないという、ターゲット駆動型ビジョナルナビゲーションにおける一般化ギャップを解消すること。
• ナビゲーションタスクにおけるスパarsな報酬問題を軽減することで、深層強化学習におけるデータ効率性を向上させること。
• 知識グラフとGCNを用いて、物体間の3次元空間的関係性を符号化することで、空間的推論を強化すること。
• TSEモジュールによるサブターゲットの導入により、失敗からの学習を可能にし、エージェントが学習できるようにすること。
• 静的ターゲットおよび操作可能なターゲット（例：操作可能なオブジェクト）の両方、オープンボキャブラリーおよびオープンアクション設定を含む環境での性能を評価すること。

提案手法

• エージェントが探索中に観測したオブジェクト検出結果と空間的関係（例：'上に'、'下に'、'左に'）から3次元知識グラフを構築する。
• グラフ畳み込みネットワーク（GCN）を用いてKG内のノード特徴量を符号化し、学習された表現に空間的レイアウトを保持する。
• ポリシー意思決定の過程で、KG内の関連するオブジェクトおよび空間的関係性に動的に注目するエンドツーエンドの注目メカニズムを採用する。
• TSEモジュールがターゲット画像と環境からサブターゲットを生成することで、中間的失敗からの学習が可能となり、探索の効率が向上する。
• エゴセントリック観測からの視覚的特徴と、KGに埋め込まれた空間的知識を統合し、行動選択をガイドする。
• 収束速度の向上を図るため、サブターゲットを用いたカリキュラム学習と、最適でない専門家パスからの模倣学習を組み合わせて、A3Cを用いて訓練する。

実験結果

リサーチクエスチョン

• RQ1 3次元空間的知識グラフは、未学習のターゲットやシーンにおいて、ゼロショット一般化を改善できるか？
• RQ2 TSEモジュールによるサブターゲットの統合は、DRLベースのナビゲーションにおけるデータ効率性と収束速度にどのように影響するか？
• RQ3 空間的関係性への注目が、ポリシー学習および障害物回避にどの程度向上効果をもたらすか？
• RQ4 本モデルは、静的ターゲットにとどまらず、操作可能なターゲット（例：冷蔵庫内のパンやレタスを発見するなど）にも一般化可能か？
• RQ5 KGに対するエンドツーエンドの注目メカニズムは、標準的な視覚特徴のみを用いるモデルと比較して、推論およびナビゲーション性能を向上させるか？

主な発見

• 提案手法は、AI2-THORにおける成功確率（SR）およびSPL指標において、ベースラインを上回る性能を示し、ナビゲーション性能の向上を実証した。
• 未学習のターゲットやシーンに対しても一般化性能が高く、空間的知識を介した有効な転移学習が実現していることが示された。
• TSEモジュールはデータ効率性を顕著に向上させ、標準的なA3Cよりも高速に収束し、一部の状況では模倣学習を上回ることさえも達成した。
• t-SNE可視化により、GCNで学習されたノード特徴量が空間的レイアウトを保持しており、空間的に近い物体（例：棚の上の花びんと像）が特徴空間でもクラスタリングしていることが確認された。
• 注目メカニズムは、適切なタイミングで関連するオブジェクト（例：トーストベーカー、マグカップ）に自発的に注目し、人間の類推に類似した行動を示した。
• 操作可能なターゲット（例：冷蔵庫内のパンやレタスの発見）に対しても良好な一般化性能を示し、オープンアクション設定下でも高いロバスト性を示した。