[论文解读] LEBP -- Language Expectation & Binding Policy: A Two-Stream Framework for Embodied Vision-and-Language Interaction Task Learning Agents

Haoyu Liu, Yang Liu+2 more|arXiv (Cornell University)|Mar 9, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

LEBP 提出了一种用于具身视觉-语言任务的双流框架，该框架首先生成基于语言的任务预期（例如，'捡起一个苹果'），然后再将其绑定到具体动作上，从而提升可解释性和泛化能力。该方法在 ALFRED 数据集上取得了具有竞争力的性能，在未见过的环境中实现了 3.99% 的绝对成功率（SR）提升，并显著降低了从已见场景到未见场景的性能下降。

ABSTRACT

People always desire an embodied agent that can perform a task by understanding language instruction. Moreover, they also want to monitor and expect agents to understand commands the way they expected. But, how to build such an embodied agent is still unclear. Recently, people can explore this problem with the Vision-and-Language Interaction benchmark ALFRED, which requires an agent to perform complicated daily household tasks following natural language instructions in unseen scenes. In this paper, we propose LEBP -- Language Expectation and Binding Policy Module to tackle the ALFRED. The LEBP contains a two-stream process: 1) It first conducts a language expectation module to generate an expectation describing how to perform tasks by understanding the language instruction. The expectation consists of a sequence of sub-steps for the task (e.g., Pick an apple). The expectation allows people to access and check the understanding results of instructions before the agent takes actual actions, in case the task might go wrong. 2) Then, it uses the binding policy module to bind sub-steps in expectation to actual actions to specific scenarios. Actual actions include navigation and object manipulation. Experimental results suggest our approach achieves comparable performance to currently published SOTA methods and can avoid large decay from seen scenarios to unseen scenarios.

研究动机与目标

• 开发一种具身智能体，使其能够在执行动作前理解并规划语言指令，从而支持人类对任务意图的监控。
• 通过解耦语言理解与动作执行，减少模型在已见环境到未见环境之间的性能衰减。
• 通过展示智能体内部任务规划的子步骤序列，提升人机交互中的可解释性。
• 通过最小化对训练场景中视觉细节（如纹理、相机角度）的过拟合，提升泛化能力。
• 促进环境先验知识与空间结构在规划过程中的整合。

提出的方法

• 语言预期模块将自然语言指令解码为一系列高层级子步骤（例如，'走到桌子旁'，'捡起一个苹果'），表示智能体的内部规划。
• 绑定策略模块根据当前视觉和场景上下文，将每个预期子步骤映射为具体的导航与物体操作动作。
• 该框架采用双流架构：一条流处理语言以生成预期，另一条流在实时场景中将预期映射为动作。
• 模型通过交叉注意力机制与基于专家演示的监督学习，在 ALFRED 基准数据集上进行端到端训练。
• 消融实验使用真实深度图与语义分割图，以隔离视觉感知模块对性能的影响。
• 该方法利用 HuggingFace Transformers 进行语言编码，使用 PyTorch 进行训练，并为语言、深度与语义分割头分别设置独立的训练调度。

实验结果

研究问题

• RQ1 是否可以通过解耦语言理解与动作执行的双流框架，提升具身视觉-语言任务中的泛化能力？
• RQ2 通过语言预期暴露智能体的内部任务规划，是否能增强可解释性并提升人类对智能体行为的监控能力？
• RQ3 与端到端模型相比，LEBP 框架在从已见环境到未见环境的性能下降方面，改善程度如何？
• RQ4 视觉感知模块（深度图、语义分割）对 LEBP 框架整体性能的影响有多大？
• RQ5 语言预期模块是否能在无需逐子步真实标签的情况下，提升规划准确性？

主要发现

• 与 HLSM 相比，LEBP 在未见测试集上的成功率（SR）实现了 3.99% 的绝对提升，相对提升达 19.68%。
• 该模型展现出强大的泛化能力，未见集上的性能接近已见集，表明对训练场景的过拟合显著减少。
• 与 FILM 相比，LEBP 在验证集未见子集上实现了 2.26% 的绝对 SR 提升，表明其性能具有竞争力。
• 真实语义分割图使已见集上的 SR 提升 18.0%，未见集上提升 11.8%，表明语义分割是当前流程中的关键瓶颈。
• 真实深度图在已见集上带来 1.8% 的小幅但稳定的提升，在未见集上提升 1.7%，表明深度信息的重要性低于语义分割。
• 该方法在 'Examine' 任务上表现尤为出色，SR 与 GC 均较高，但在 'Clean & Place'、'Cool & Place' 和 'Heat & Place' 任务上表现不佳，主要因子任务失败。