[論文レビュー] Look, Listen, and Act: Towards Audio-Visual Embodied Navigation

Chuang Gan, Yiwei Zhang+3 more|arXiv (Cornell University)|Dec 25, 2019

Tactile and Sensory Interactions参考文献 45被引用数 10

ひとこと要約

本論文は、視覚的認識、音源方向特定、動的経路計画を統合することで、未確認の屋内環境において音源へ誘導する、画期的な音声・視覚的埋め込みナビゲーションフレームワークを提案する。明示的な空間記憶と音声・視覚的認識を組み合わせることで、探索・実行設定では65％以上の成功率を達成し、非探索設定ではほぼ60％に達する。これは、記憶機能や明示的な地図を備えたA3Cベースの強力なベースラインを上回る性能を発揮する。

ABSTRACT

A crucial ability of mobile intelligent agents is to integrate the evidence from multiple sensory inputs in an environment and to make a sequence of actions to reach their goals. In this paper, we attempt to approach the problem of Audio-Visual Embodied Navigation, the task of planning the shortest path from a random starting location in a scene to the sound source in an indoor environment, given only raw egocentric visual and audio sensory data. To accomplish this task, the agent is required to learn from various modalities, i.e. relating the audio signal to the visual environment. Here we describe an approach to audio-visual embodied navigation that takes advantage of both visual and audio pieces of evidence. Our solution is based on three key ideas: a visual perception mapper module that constructs its spatial memory of the environment, a sound perception module that infers the relative location of the sound source from the agent, and a dynamic path planner that plans a sequence of actions based on the audio-visual observations and the spatial memory of the environment to navigate toward the goal. Experimental results on a newly collected Visual-Audio-Room dataset using the simulated multi-modal environment demonstrate the effectiveness of our approach over several competitive baselines.

研究の動機と目的

• エゴセントリックな視覚的および音声的入力のみを用いて、音源へナビゲートできるマシンエージェントの開発を目的とする。
• 感覚認識、空間記憶、逐次的意思決定を統合することで、人間らしいナビゲーションをモデル化することを目的とする。
• 複雑なレイアウトを有する未確認の屋内環境における一般化性能の評価を目的とする。
• 新しいマルチモーダルシミュレーション環境を用いて、音声・視覚的埋め込みナビゲーションのベンチマークを確立することを目的とする。
• 明示的な空間記憶および音声・視覚融合が、ナビゲーションの頑健性と成功確率を向上させる役割を調査することを目的とする。

提案手法

• 視覚的認識マッパーは、エゴセントリックなRGB観測から環境の2次元占有マップを構築する。
• 音声認識モジュールは、生の音声入力を用いて音源の相対的な方向と距離を推定する。
• 動的経路計画モジュールは、統合された音声・視覚的観測とエージェントの内部空間記憶に基づいて、行動シーケンスを生成する。
• エージェントはリアルタイムで空間記憶を維持・更新し、事前の探索なしにナビゲーションを可能にする。
• 一般化性能を向上させるために、カリキュラム学習および補助タスクを用いた深層強化学習でフレームワークを訓練する。
• 新しいシミュレーション環境であるVisual-Audio-Room (VAR) は、現実的な物理的音波伝搬と複雑なアパートメントレイアウトをモデル化する。

実験結果

リサーチクエスチョン

• RQ1 エージェントは、事前の地図知識なしに、生の視覚的および音声的入力のみを用いて音源へナビゲートする能力を学習できるか？
• RQ2 明示的な空間記憶は、未確認環境におけるナビゲーション性能をどのように向上させるか？
• RQ3 音声および視覚モodalitiesの相対的な寄与度は、音声・視覚的埋め込みナビゲーションタスクの解決においてどのように寄与するか？
• RQ4 提案手法は、強力なベースラインと比較して、新しい環境および音源へどのように一般化するか？
• RQ5 エージェントは、他の部屋の音源位置を効果的に推定し、ドアを通ってナビゲートする際、感覚フィードバックのみを用いて効果的に行動できるか？

主な発見

• 提案されたエージェントは、全音源において探索・実行設定で平均65％以上の成功率を達成し、最良のベースラインのほぼ2倍の性能を発揮する。
• 非探索設定では、ほぼ60％の成功率を達成し、探索と明示的な地図を併用する最強のベースラインを上回る。
• ランダムおよびグリーディベースラインは15％未満の成功率にとどまり、効果的なナビゲーションのためには視覚的および音声的モダリティの統合が不可欠であることが示される。
• 提案手法とA3Cベースのベースラインとの間の性能差は、一般化を向上させるために、認識と計画を分離することが重要であることを示している。
• エージェントはドアを通るなど複雑なレイアウトを効率的にナビゲートする能力を学習しており、空間記憶および音声・視覚の整合性の有効な利用が示唆される。
• 結果から、明示的な空間記憶および音声・視覚融合が、未確認環境における一般化を顕著に向上させることを示している。