[论文解读] Embodied Concept Learner: Self-supervised Learning of Concepts and Mapping through Instruction Following

Mingyu Ding, Yan Xu+5 more|arXiv (Cornell University)|Apr 7, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

本文提出了一种模块化、自监督的框架——具身概念学习者（ECL），使机器人智能体能够通过交互与模仿，在3D环境中学习视觉概念、构建语义地图，并完成基于语言的任务。通过使用预训练的目标提议网络将语言描述与视觉实例对齐，并利用运动视差无监督地学习深度信息，ECL在无需语义标签的情况下，于ALFRED基准上实现了优异性能，同时保持了所学概念的完全可解释性与下游任务的可重用性。

ABSTRACT

Humans, even at a very early age, can learn visual concepts and understand geometry and layout through active interaction with the environment, and generalize their compositions to complete tasks described by natural languages in novel scenes. To mimic such capability, we propose Embodied Concept Learner (ECL) in an interactive 3D environment. Specifically, a robot agent can ground visual concepts, build semantic maps and plan actions to complete tasks by learning purely from human demonstrations and language instructions, without access to ground-truth semantic and depth supervisions from simulations. ECL consists of: (i) an instruction parser that translates the natural languages into executable programs; (ii) an embodied concept learner that grounds visual concepts based on language descriptions; (iii) a map constructor that estimates depth and constructs semantic maps by leveraging the learned concepts; and (iv) a program executor with deterministic policies to execute each program. ECL has several appealing benefits thanks to its modularized design. Firstly, it enables the robotic agent to learn semantics and depth unsupervisedly acting like babies, e.g., ground concepts through active interaction and perceive depth by disparities when moving forward. Secondly, ECL is fully transparent and step-by-step interpretable in long-term planning. Thirdly, ECL could be beneficial for the embodied instruction following (EIF), outperforming previous works on the ALFRED benchmark when the semantic label is not provided. Also, the learned concept can be reused for other downstream tasks, such as reasoning of object states. Project page: http://ecl.csail.mit.edu/

研究动机与目标

• 开发一种机器人学习框架，通过交互与示范模仿婴儿般的自监督学习，无需显式监督深度或语义信息。
• 仅使用自然语言指令与自身视角的视觉观测，在未见过的环境中实现具身指令遵循。
• 通过将语言概念与视觉实例对齐并利用无监督深度估计构建语义地图，实现可解释的、分步的计划。
• 将所学的视觉概念迁移至下游任务（如物体状态推理），提升模型的可重用性。
• 通过模块化、可解释的组件，克服端到端黑箱模型与监督映射方法的局限，实现透明性与泛化能力。

提出的方法

• 指令解析器将自然语言目标转换为由子目标（如“拿起”、“放在……上”、“清洁”）组成的可执行程序。
• 具身概念学习器利用预训练的目标检测网络与词嵌入，将语言嵌入与视觉目标提议对齐，实现对“刀”或“桌子”等概念的零样本对齐。
• 地图构建器通过利用智能体移动产生的运动视差，采用无监督单目深度估计方法估计深度，并通过融合对齐后的概念与深度估计结果构建语义地图。
• 程序执行器基于快速行进法（Fast Marching Method）的确定性策略，规划并执行基于语义地图生成的目标动作，确保可解释性。
• 系统采用模块化流水线：指令解析 → 概念对齐 → 地图构建 → 动作执行，实现分步透明性。
• 所有组件均通过人类示范与语言指令端到端训练，无需预标注的语义标签或深度监督。

实验结果

研究问题

• RQ1 机器人智能体能否通过与环境的自监督交互，在无显式监督的情况下学习视觉概念与3D场景几何结构？
• RQ2 如何将语言指令解析为可在未见过环境中执行的、可解释的子目标，以支持长时程任务规划？
• RQ3 通过运动视差实现的无监督深度估计，能否在无深度传感器的情况下实现准确的语义地图构建与导航？
• RQ4 所学视觉概念在多大程度上可被重用于下游任务（如物体状态推理）？
• RQ5 与黑箱端到端模型相比，ECL的模块化、可解释设计在泛化性与鲁棒性方面有何提升？

主要发现

• ECL在ALFRED基准上实现了具有竞争力的性能，且无需语义标签，在未见过环境中的零样本泛化能力优于先前方法。
• 模型在零样本概念对齐方面表现强劲，大型物体的平均准确率达85.7%，小型物体达72.1%（基于物体级别的对齐评估）。
• 在“理想”版本的系统中，其在未见过的测试环境中的成功率达到23.6%，表明核心挑战在于真实世界中的模拟到真实迁移，而非指令遵循机制本身。
• 所学概念具备可迁移性：可用于推理物体状态，例如判断一个番茄是否被清洁。
• 通过运动视差实现的无监督深度估计可实现精确的语义地图构建，深度估计精度随智能体移动与视差分析而提升。
• 基于快速行进法的确定性策略确保了透明、可解释的路径规划，目标直接源自语义地图与概念对齐结果。