[论文解读] Hulk: A Universal Knowledge Translator for Human-Centric Tasks

Yizhou Wang, Yixuan Wu+9 more|arXiv (Cornell University)|Dec 4, 2023

Human Pose and Action Recognition被引用 5

一句话总结

Hulk 是首个统一 2D 视觉、3D 视觉、基于骨骼的和视觉-语言任务的多模态以人为中心的通用模型，无需针对特定任务进行微调。它通过将特定任务的头压缩为两个通用头——离散（例如语言）和连续（例如坐标）——实现模态无关的知识迁移，并在 12 个基准测试中达到最先进性能。

ABSTRACT

Human-centric perception tasks, e.g., pedestrian detection, skeleton-based action recognition, and pose estimation, have wide industrial applications, such as metaverse and sports analysis. There is a recent surge to develop human-centric foundation models that can benefit a broad range of human-centric perception tasks. While many human-centric foundation models have achieved success, they did not explore 3D and vision-language tasks for human-centric and required task-specific finetuning. These limitations restrict their application to more downstream tasks and situations. To tackle these problems, we present Hulk, the first multimodal human-centric generalist model, capable of addressing 2D vision, 3D vision, skeleton-based, and vision-language tasks without task-specific finetuning. The key to achieving this is condensing various task-specific heads into two general heads, one for discrete representations, \emph{e.g.,} languages, and the other for continuous representations, \emph{e.g.,} location coordinates. The outputs of two heads can be further stacked into four distinct input and output modalities. This uniform representation enables Hulk to treat diverse human-centric tasks as modality translation, integrating knowledge across a wide range of tasks. Comprehensive evaluations of Hulk on 12 benchmarks covering 8 human-centric tasks demonstrate the superiority of our proposed method, achieving state-of-the-art performance in 11 benchmarks. The code will be available on https://github.com/OpenGVLab/Hulk.

研究动机与目标

• 解决多样以人为中心的感知任务（包括 2D/3D 视觉、基于骨骼的和视觉-语言任务）缺乏统一模型的问题。
• 克服现有基础模型在每个下游任务中需要特定任务微调的局限性。
• 开发一种通用架构，能够使用共享参数处理异构输入和输出（例如图像、文本、关键点坐标、分割图）。
• 实现在无需微调或提示调优的情况下，跨多个以人为中心的任务实现零样本或少样本迁移。
• 建立一个统一框架，将所有以人为中心的任务视为模态转换，整合跨模态和跨任务的知识。

提出的方法

• 设计双头架构：一个用于离散表示（例如标记、类别标签），一个用于连续表示（例如 2D/3D 坐标、嵌入）。
• 将所有输入和输出模态映射到两种通用头的四种不同组合中，实现在任务间的统一处理。
• 在包含 170 万至 3000 万样本的大型多任务数据集上端到端训练模型，涵盖 8 个以人为中心的任务。
• 使用统一的损失函数，支持跨多样化任务类型（包括分割、检测、字幕生成和姿态估计）的联合优化。
• 利用多样化以人为中心的数据进行预训练，以提升泛化能力并减少领域偏移的影响。
• 采用参数高效的初始化方法，使用预训练的以人为中心模型（例如 HAP、PATH）以提升性能，同时不损害比较的公平性。

实验结果

研究问题

• RQ1 一个统一的单一模型是否能够在无需特定任务微调的情况下处理多样化的以人为中心的任务（包括 2D/3D 视觉、基于骨骼的和视觉-语言任务）？
• RQ2 双头架构（离散与连续）在统一多模态以人为中心任务中的异构输入和输出方面有多有效？
• RQ3 在通用模型设置下，扩大训练数据在多样化以人为中心任务中的性能提升程度如何？
• RQ4 从专用以人为中心的预训练模型进行初始化，对通用模型 Hulk 的性能有何影响？
• RQ5 通用模型是否能够在无需特定任务适配的情况下，在多个基准测试中达到最先进性能？

主要发现

• Hulk 在 12 个评估基准中的 11 个上达到最先进性能，涵盖 8 个以人为中心的任务，展现出强大的泛化能力和零样本迁移能力。
• 将训练数据从 170 万扩大到 3000 万样本，平均性能提升 7.1 分（从 48.9 提升至 56.0 mIoU/AP），在 2D 姿态估计（+2.3% AP）和行人检测（+1.6% AP）中表现显著提升。
• 引入 HAP 和 PATH 的预训练权重可提升 Hulk 的准确率，相比 MAE 初始化，平均性能提升 +5.0 分（52.2 vs. 47.2）。
• 在更大数据集上训练时，3D 网格恢复的 MPVPE 减少 26.0，3D 姿态估计的 MPJPE 减少 24.5，表明其具备强大的 3D 泛化能力。
• 双头设计实现了跨模态的有效零样本迁移，所有任务中均表现出一致的性能增益，包括图像字幕生成（+2.1 B@4）和基于骨骼的动作识别（准确率达 93.8%）。
• 尽管在扩展数据集（如用于骨骼任务的 Kinetics-400）中存在领域差距，性能仍保持稳定，表明在多样化数据上训练后对分布偏移具有鲁棒性。