[论文解读] Look, Listen, and Act: Towards Audio-Visual Embodied Navigation

Chuang Gan, Yiwei Zhang+3 more|arXiv (Cornell University)|Dec 25, 2019

Tactile and Sensory Interactions参考文献 45被引用 10

一句话总结

本文提出了一种新颖的视听具身导航框架，通过整合视觉感知、声音定位与动态路径规划，引导智能体在未见过的室内环境中导航至声源。通过结合显式空间记忆与视听感知，该方法在探索-动作设置中实现了超过65%的成功率，在非探索设置中接近60%，优于包括带记忆和显式地图的A3C在内的强基线模型。

ABSTRACT

A crucial ability of mobile intelligent agents is to integrate the evidence from multiple sensory inputs in an environment and to make a sequence of actions to reach their goals. In this paper, we attempt to approach the problem of Audio-Visual Embodied Navigation, the task of planning the shortest path from a random starting location in a scene to the sound source in an indoor environment, given only raw egocentric visual and audio sensory data. To accomplish this task, the agent is required to learn from various modalities, i.e. relating the audio signal to the visual environment. Here we describe an approach to audio-visual embodied navigation that takes advantage of both visual and audio pieces of evidence. Our solution is based on three key ideas: a visual perception mapper module that constructs its spatial memory of the environment, a sound perception module that infers the relative location of the sound source from the agent, and a dynamic path planner that plans a sequence of actions based on the audio-visual observations and the spatial memory of the environment to navigate toward the goal. Experimental results on a newly collected Visual-Audio-Room dataset using the simulated multi-modal environment demonstrate the effectiveness of our approach over several competitive baselines.

研究动机与目标

• 开发一种机器智能体，仅使用第一人称视觉和音频输入即可导航至声源。
• 通过整合感官感知、空间记忆与序列决策，模拟人类导航行为。
• 在具有复杂布局的未见室内环境中评估泛化性能。
• 建立一个新的多模态仿真环境，为视听具身导航提供基准。
• 探究显式空间记忆与视听融合在提升导航鲁棒性与成功率中的作用。

提出的方法

• 视觉感知映射器从第一人称RGB观测构建环境的2D占用图。
• 声音感知模块利用原始音频输入估计声源的相对方向与距离。
• 动态路径规划器基于融合的视听观测与智能体内部空间记忆生成动作序列。
• 智能体实时维护并更新空间记忆，实现在无先前探索情况下的导航。
• 该框架采用深度强化学习结合课程学习与辅助任务进行训练，以提升泛化能力。
• 新构建的仿真环境Visual-Audio-Room（VAR）可模拟基于物理的真实声音传播与复杂公寓布局。

实验结果

研究问题

• RQ1 智能体能否仅使用原始视觉与音频输入，在无先验地图知识的情况下学会导航至声源？
• RQ2 显式空间记忆在未见环境中的导航性能提升中起到何种作用？
• RQ3 在解决视听具身导航任务时，音频与视觉模态的相对贡献如何？
• RQ4 与强基线相比，所提方法在新环境与新声源上的泛化能力如何？
• RQ5 智能体能否仅通过感官反馈有效推断另一房间声源的位置，并通过门洞导航至目标？

主要发现

• 所提智能体在所有声源的探索-动作设置中平均成功率达65%以上，近乎是最佳基线的两倍。
• 在非探索设置中，智能体成功率达近60%，优于使用探索与显式地图的最强基线。
• 随机与贪婪基线的成功率均低于15%，表明有效导航必须整合视觉与音频模态。
• 所提方法与基于A3C的基线之间存在的性能差距，凸显了将感知与规划解耦对提升泛化能力的重要性。
• 智能体能够高效穿越门洞与复杂布局，表明其有效利用了空间记忆与视听对齐。
• 结果表明，显式空间记忆与视听融合显著增强了在未见环境中的泛化能力。