[论文解读] AVLEN: Audio-Visual-Language Embodied Navigation in 3D Environments

Sudipta Paul, Amit K. Roy–Chowdhury+1 more|arXiv (Cornell University)|Oct 14, 2022

Multimodal Machine Learning Applications被引用 9

一句话总结

AVLEN 提出了一种用于 3D 环境中视听语言具身导航的多模态分层强化学习智能体，使其能够决定何时使用视听线索或向人类专家查询自然语言指令。通过学习在导航自主性与战略性查询之间取得平衡，该智能体显著减少了对持续音频线索的依赖，从而在诸如未听清声音或干扰性声音等挑战性场景中实现了更优性能。

ABSTRACT

Recent years have seen embodied visual navigation advance in two distinct directions: (i) in equipping the AI agent to follow natural language instructions, and (ii) in making the navigable world multimodal, e.g., audio-visual navigation. However, the real world is not only multimodal, but also often complex, and thus in spite of these advances, agents still need to understand the uncertainty in their actions and seek instructions to navigate. To this end, we present AVLEN~ -- an interactive agent for Audio-Visual-Language Embodied Navigation. Similar to audio-visual navigation tasks, the goal of our embodied agent is to localize an audio event via navigating the 3D visual world; however, the agent may also seek help from a human (oracle), where the assistance is provided in free-form natural language. To realize these abilities, AVLEN uses a multimodal hierarchical reinforcement learning backbone that learns: (a) high-level policies to choose either audio-cues for navigation or to query the oracle, and (b) lower-level policies to select navigation actions based on its audio-visual and language inputs. The policies are trained via rewarding for the success on the navigation task while minimizing the number of queries to the oracle. To empirically evaluate AVLEN, we present experiments on the SoundSpaces framework for semantic audio-visual navigation tasks. Our results show that equipping the agent to ask for help leads to a clear improvement in performance, especially in challenging cases, e.g., when the sound is unheard during training or in the presence of distractor sounds.

研究动机与目标

• 开发一种具身智能体，能够在使用视听线索的同时，战略性地向人类专家查询自然语言指令以应对不确定性。
• 解决现有智能体仅依赖视觉或音频，或在线索模糊或缺失时无法自适应寻求帮助的局限性。
• 提升在涉及瞬时、间歇性或干扰性声音的真实世界类导航场景中的鲁棒性。
• 训练一种端到端的多模态分层强化学习框架，以同时学习高层模态选择策略与低层动作策略。
• 在保证导航成功率的同时，最小化不必要的查询，特别是在音频线索不可靠或不可用的情况下。

提出的方法

• AVLEN 采用分层强化学习架构，高层策略负责在使用视听线索与向专家查询自然语言指令之间进行选择。
• 智能体使用两个低层策略：一个基于视听特征进行导航，另一个将自然语言指令转化为可执行的导航动作。
• 音频输入处理为双耳频谱图（$65 \times 26$），视觉输入为 RGB 和深度图像，中心裁剪为 $64 \times 64$。
• 高层策略通过平衡任务完成与查询效率的奖励函数进行训练，以最小化查询次数并最大化成功率。
• 语言策略 ($\pi_{\ell}$) 在收集的轨迹-指令对上进行微调，以提升指令到动作的对齐能力。
• 所有策略均通过离线模仿学习与强化学习联合训练，其中 $\pi_{\ell}$ 在重用的视觉-语言数据集上预训练，并在 AVLEN 训练过程中进一步微调。

实验结果

研究问题

• RQ1 当视听线索模糊或缺失时，具身智能体是否能通过战略性地向人类专家查询自然语言指令来提升在 3D 环境中的导航成功率？
• RQ2 多模态线索（音频、视觉与语言）的融合在未听清或干扰性声音等挑战性条件下如何增强导航的鲁棒性？
• RQ3 分层强化学习框架在多大程度上使智能体能够平衡自主性与辅助性，从而最小化不必要的查询？
• RQ4 智能体的语言策略在将简短、抽象的自然语言指令泛化为正确导航动作方面表现如何？
• RQ5 查询次数与静音时长对智能体成功定位音频事件的能力有何影响？

主要发现

• 在未听清声音场景中，AVLEN 达到了 72.1% 的成功率，显著优于缺乏查询能力的基线智能体。
• 在存在干扰性声音的情况下，AVLEN 维持了 68.3% 的成功率，表现出对音频干扰的强鲁棒性。
• 该智能体在不同随机种子下的性能方差较低，听清、未听清与干扰声音场景的标准差分别为 0.50、0.53 和 0.26。
• AVLEN 对查询次数表现出强敏感性：随着允许查询次数增加，成功率随之提升，且即使在 $\nu=2$ 时仍优于基线。
• 语言策略 ($\pi_{\ell}$) 展现出优异的对齐性能：在微调数据集上，Step-3 导航的成功率达到 45.3%，而指令被屏蔽时仅为 17.0%。
• AVLEN 在静音时长较长时表现出更强的鲁棒性，即使在长时间无音频输入的场景中仍能保持更高的累积成功率，优于基线模型。