[论文解读] HuBo-VLM: Unified Vision-Language Model designed for HUman roBOt interaction tasks

Zichao Dong, Weikun Zhang+4 more|arXiv (Cornell University)|Aug 24, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用 3

一句话总结

HuBo-VLM 提出了一种基于 Transformer 架构的统一视觉语言模型，用于人机交互任务，将视觉定位和目标检测等多样化任务统一为序列生成问题。通过使用共享的编码器-解码器 Transformer 架构，并在多样化的多模态数据集上进行指令微调和预训练，该模型在 Talk2Car 基准测试中实现了最先进性能（AP50: 76.74），展示了强大的泛化能力与端到端处理能力，且无需任务特定的头部结构。

ABSTRACT

Human robot interaction is an exciting task, which aimed to guide robots following instructions from human. Since huge gap lies between human natural language and machine codes, end to end human robot interaction models is fair challenging. Further, visual information receiving from sensors of robot is also a hard language for robot to perceive. In this work, HuBo-VLM is proposed to tackle perception tasks associated with human robot interaction including object detection and visual grounding by a unified transformer based vision language model. Extensive experiments on the Talk2Car benchmark demonstrate the effectiveness of our approach. Code would be publicly available in https://github.com/dzcgaara/HuBo-VLM.

研究动机与目标

• 为解决端到端人机交互的挑战，通过单一视觉语言模型统一感知任务。
• 通过统一的序列到序列框架，克服现有视觉语言模型在依赖区域提议或缺乏任务泛化能力方面的局限。
• 通过避免使用大型语言模型并采用轻量、高效的 Transformer 架构，实现在机器人硬件上的高效部署。
• 通过基于指令的提示和微调，支持在多样化人机交互任务中的零样本和少样本适应。

提出的方法

• 视觉编码器（ResNet152）处理机器人传感器获取的原始 RGB 图像，而基于 BERT 的语言编码器处理自然语言指令。
• 统一的 Transformer 解码器作为共享的任务求解器，生成对应于边界框或分割掩码等输出的文本序列。
• 模型在包含 COCO、VQAv2、RefCOCO 和 ImageNet 等在内的 15 个多样化多模态数据集混合数据集上进行预训练，以学习联合的视觉-语言表征。
• 使用每项任务约 1,000 个标注样本进行任务特定的微调，采用较小的初始学习率以防止过拟合。
• 将任务统一为文本生成：例如，视觉定位输出类似 "(x0, y0, x1, y1)" 的序列，随后后处理为边界框。
• 指令编码器支持在不改变架构的前提下实现跨任务的零样本和少样本泛化。

实验结果

研究问题

• RQ1 统一的视觉语言模型是否能在无需任务特定组件的情况下，在多样化的人机交互任务中实现强大性能？
• RQ2 指令微调在实现机器人新感知任务少样本适应方面有多有效？
• RQ3 在真实机器人约束条件下，轻量级基于 BERT 的解码器是否优于 MDETR 或 Deformable DETR 等更复杂模型在视觉定位任务中的表现？
• RQ4 单一预训练模型在不同视觉-语言基准和下游任务中的泛化能力在多大程度上得以实现？

主要发现

• HuBo-VLM 在 Talk2Car 基准测试中取得 76.74 的 AP50 分数，优于所有对比方法，包括 Deformable-MDETR（74.4）和 Stacked VL-BERT（71）。
• 该模型展现出强大的少样本泛化能力，仅需约 1,000 个微调样本即可在每项任务中实现高性能。
• 定性结果表明，HuBo-VLM 能够在杂乱场景中正确将复杂自然语言指令定位到特定物体上，表明其具备推理能力。
• 统一的序列到序列方法消除了对锚框或回归头等任务特定头部的需求，简化了部署与可扩展性。
• 该模型保持了高效率，采用小型基于 BERT 的解码器而非大型语言模型，使其适用于嵌入式机器人系统。
• 在包含 15 个数据集的多样化混合数据集上进行预训练，使模型在视觉定位、图像字幕和 VQA 等任务中均展现出强大的零样本和少样本迁移性能。