[論文レビュー] Learning to Set Waypoints for Audio-Visual Navigation

Changan Chen, Sagnik Majumder+4 more|arXiv (Cornell University)|Aug 21, 2020

Robotics and Sensor-Based Localization参考文献 49被引用数 28

ひとこと要約

本論文は、音声・視覚的ナビゲーションのための強化学習フレームワークを提案し、未学習の3次元環境においてナビゲーション効率を向上させるために、エンドツーエンドで動的で音声・視覚的ウェイポイントを学習する。視覚的知覚と構造的音響記憶を統合することで、ReplicaおよびMatterport3Dデータセットにおいて最先端の性能を達成し、クリーンな状態およびノイズのある音声条件下でも、従来手法を顕著に上回る。

ABSTRACT

In audio-visual navigation, an agent intelligently travels through a complex, unmapped 3D environment using both sights and sounds to find a sound source (e.g., a phone ringing in another room). Existing models learn to act at a fixed granularity of agent motion and rely on simple recurrent aggregations of the audio observations. We introduce a reinforcement learning approach to audio-visual navigation with two key novel elements: 1) waypoints that are dynamically set and learned end-to-end within the navigation policy, and 2) an acoustic memory that provides a structured, spatially grounded record of what the agent has heard as it moves. Both new ideas capitalize on the synergy of audio and visual data for revealing the geometry of an unmapped space. We demonstrate our approach on two challenging datasets of real-world 3D scenes, Replica and Matterport3D. Our model improves the state of the art by a substantial margin, and our experiments reveal that learning the links between sights, sounds, and space is essential for audio-visual navigation. Project: http://vision.cs.utexas.edu/projects/audio_visual_waypoints.

研究の動機と目的

• 非構造的で3次元的な環境における音声・視覚的ナビゲーションを改善するため、固定された行動ポリシーではなく、非短視的で動的なウェイポイントを学習すること。
• 固定された行動粒度やヒューリスティックなサブゴール選択に依存する従来手法の限界を是正すること。
• 構造的で空間的に位置づけられた音響記憶を導入することで、音声ノイズや複雑な音響環境に対する耐性を高めること。
• 音声、視覚、空間的関係の共同学習が、効果的なナビゲーションに不可欠であることを示すこと。

提案手法

• 外側のポリシーが音声・視覚的ウェイポイントを予測し、内側のプランナが各ウェイポイントへナビゲートする階層的強化学習フレームワークを採用する。
• 時間経過とともに音声観測を記録・統合する、新規の構造的音響記憶 $A_t$ を導入し、解釈可能で空間的に位置づけられた音響的証拠を提供する。
• 音声・視覚的入力をマルチモーダルエンコーダーで同時に符号化し、ウェイポイント選択とナビゲーション計画の両者に情報を供給する。
• 視覚的観測から幾何的マップを構築し、音声入力から音響マップを構築することで、音の伝播から環境の幾何的構造を推論可能にする。
• カリキュラム学習とカリキュラムベースの探索を用いて、強化学習によりエンドツーエンドでポリシーを訓練する。
• ウェイポイント選択は適応的である：ゴールから遠いときは遠くのウェイポイントを選択し、収束に近づくと近いウェイポイントを選択する。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、音声・視覚的ナビゲーションにおけるナビゲーション効率を向上させるために、動的で非短視的なウェイポイントを学習できるか？
• RQ2 構造的音響記憶は、音声・視覚的ナビゲーションにおいて、非構造的な音声集約と比較してどの程度性能を向上させるか？
• RQ3 音声と視覚のモダリティの相乗効果は、未マップの3次元空間の幾何的理解をどの程度向上させるか？
• RQ4 本手法は、現実世界の音声ノイズや干渉音に対してどの程度耐性を示すか？
• RQ5 ウェイポイント選択のエンドツーエンド学習は、ヒューリスティックまたは原始的行動に基づくベースラインを上回るか？

主な発見

• 提案されたAV-WaNモデルは、ノイズのある条件下でReplicaデータセットで83.1%のSPL、Matterport3Dで70.9%のSPLを達成し、従来の最先端手法を顕著に上回った。
• 構造的音響記憶 ($A_t$) を除去すると、Replicaで12.4%、Matterport3Dで15.6%の性能低下が生じ、その重要性が裏付けられた。
• モデルの性能はマイクノイズに対して頑健であり、ガウスノイズが増加しても高い精度を維持したが、従来手法とは対照的であった。
• ウェイポイント選択は適応的である：エージェントがゴールに近づくに従い、ウェイポイントまでの平均距離が減少し、多くのウェイポイントがドアや障害物付近に配置された。
• アブレーションスタディにより、同じ構成要素を用いても、エンドツーエンドでウェイポイントを学習する方が、線形行動ヘッドを用いる手法よりも効果的であることが確認された。
• 失敗事例から、コーナー部や高反射性環境では、音響の反射やマッピング誤差により、エージェントが目的地を正しく局在化できず、振動や早期停止を示す課題が明らかになった。