[论文解读] Audio-Visual Embodied Navigation.

Changan Chen, Unnat Jain+6 more|arXiv (Cornell University)|Dec 24, 2019

Tactile and Sensory Interactions参考文献 102被引用 18

一句话总结

本文提出了在3D环境中进行视听具身导航，使智能体能够同时利用视觉和听觉线索进行导航。通过在第一人称视听观测上训练多模态深度强化学习策略，智能体学会了从混响声音中感知空间几何结构，并定位发声目标，显著提升了在复杂、声学逼真环境中的导航性能。

ABSTRACT

Moving around in the world is naturally a multisensory experience, but today's embodied agents are deaf - restricted to solely their visual perception of the environment. We introduce audio-visual navigation for complex, acoustically and visually realistic 3D environments. By both seeing and hearing, the agent must learn to navigate to an audio-based target. We develop a multi-modal deep reinforcement learning pipeline to train navigation policies end-to-end from a stream of egocentric audio-visual observations, allowing the agent to (1) discover elements of the geometry of the physical space indicated by the reverberating audio and (2) detect and follow sound-emitting targets. We further introduce audio renderings based on geometrical acoustic simulations for a set of publicly available 3D assets and instrument AI-Habitat to support the new sensor, making it possible to insert arbitrary sound sources in an array of apartment, office, and hotel environments. Our results show that audio greatly benefits embodied visual navigation in 3D spaces.

研究动机与目标

• 为解决当前具身智能体仅依赖视觉的局限性，将听觉感知整合到导航中。
• 使智能体能够从复杂3D环境中的混响音频信号中学习空间几何结构。
• 开发一种端到端的训练流程，从第一人称视听观测中学习导航策略。
• 基于几何声学仿真，构建一个适用于多样化3D环境的真实音频渲染系统。
• 评估音频在复杂、声学丰富的空间中对视觉导航性能的影响。

提出的方法

• 智能体通过多模态深度强化学习流程进行训练，处理来自3D环境的原始第一人称音频与视觉观测。
• 从基于几何声学仿真生成的模拟音频信号中提取音频特征，捕捉混响与空间线索。
• 使用强化学习端到端训练导航策略，以最小化到达目标发声源的距离。
• 基于AI-Habitat开发了一种新型音频渲染系统，实现在公寓、办公室和酒店环境中的真实声音传播。
• 系统支持在3D资产中任意放置声源，支持多样化的训练与评估场景。
• 模型学会检测并跟随发声目标，同时从音频衰减模式中推断环境几何结构。

实验结果

研究问题

• RQ1 音频线索是否能提升复杂3D环境中的视觉导航性能？
• RQ2 智能体如何从混响音频信号中推断空间几何结构？
• RQ3 整合听觉感知在多大程度上提升了具身导航中的目标定位能力？
• RQ4 在第一人称视听观测上进行端到端训练能否获得稳健的导航策略？
• RQ5 在真实的声学环境中，基于音频的导航与仅依赖视觉的基线方法相比表现如何？

主要发现

• 音频线索显著提升了复杂3D环境中的导航性能，相比仅依赖视觉的基线方法，平均导航距离明显减少。
• 智能体成功学会从音频信号的衰减与混响模式中感知环境几何结构。
• 音频的整合使目标定位更加鲁棒，尤其在视觉遮挡或模糊的场景中表现更优。
• 基于几何声学仿真的所提音频渲染系统，实现了在多样化室内环境中真实且可控的声音传播。
• 在视听观测上进行端到端训练，使智能体能够有效发现空间结构并准确跟随声源。