[论文解读] HUMBI 1.0: HUman Multiview Behavioral Imaging Dataset.

Zhixuan Yu, Jae Shin Yoon+4 more|arXiv (Cornell University)|Dec 1, 2018

Human Pose and Action Recognition参考文献 41被引用 7

一句话总结

HUMBI 1.0 是一个大规模、多视角数据集，通过 107 台同步的高清摄像机捕捉了 772 名来自多样化人口背景的受试者，实现了对人类身体表情（包括凝视、面部、双手、身体和服装）的高保真三维重建。该数据集通过在三维网格重建上使用标准模板图谱表示法，支持视图特定的外观与几何建模，相较于现有视图有限、多样性不足的数据集，实现了显著的进展。

ABSTRACT

This paper presents a new large multiview dataset called HUMBI for human body expressions with natural clothing. The goal of HUMBI is to facilitate modeling view-specific appearance and geometry of gaze, face, hand, body, and garment from assorted people. 107 synchronized HD cameras are used to capture 772 distinctive subjects across gender, ethnicity, age, and physical condition. With the multiview image streams, we reconstruct high fidelity body expressions using 3D mesh models, which allows representing view-specific appearance using their canonical atlas. We demonstrate that HUMBI is highly effective in learning and reconstructing a complete human model and is complementary to the existing datasets of human body expressions with limited views and subjects such as MPII-Gaze, Multi-PIE, Human3.6M, and Panoptic Studio datasets.

研究动机与目标

• 为解决现有数据集中缺乏大规模、多样化、多视角且完整捕捉人体表情（含自然服装）的数据集的问题。
• 实现对凝视、面部、双手、身体和衣物等部位的视图特定外观与几何结构的精确建模。
• 通过同步的多视角视频流支持高保真三维人体运动与形态重建。
• 为现有数据集（如 MPII-Gaze、Multi-PIE、Human3.6M 和 Panoptic Studio）提供补充资源，这些数据集在视角数量和受试者多样性方面存在局限。

提出的方法

• 通过 107 台摄像机同步采集高清视频流，确保对人类受试者的密集多视角覆盖。
• 从多视角视频数据中重建高保真的三维网格模型。
• 将视图特定的外观投影到标准模板图谱表示上，实现在不同视角间的一致纹理映射。
• 利用三维网格模型实现对身体表情（包括面部表情、手势和衣物动态）的详细分析。
• 在 772 名不同受试者中确保性别、种族、年龄和身体状况的多样性。
• 利用多视角几何结构提升三维重建精度与视图特定外观建模效果。

实验结果

研究问题

• RQ1 与现有视图有限的数据集相比，使用大规模、多视角且受试者多样化的数据集是否能显著提升三维人体表情建模的保真度？
• RQ2 在三维网格模型上使用标准模板图谱表示法，能否有效捕捉并表达凝视、面部、双手、身体和衣物的视图特定外观与几何结构？
• RQ3 在人体建模系统中，自然服装与多样化人口背景的引入在多大程度上提升了模型的泛化能力？
• RQ4 与 MPII-Gaze、Multi-PIE、Human3.6M 和 Panoptic Studio 等成熟数据集相比，HUMBI 在实用性与代表性方面表现如何？

主要发现

• HUMBI 1.0 使用 107 台同步高清摄像机，捕捉了 772 名来自多样化人口背景的受试者，显著扩展了现有数据集在受试者数量与视角多样性方面的覆盖范围。
• 从多视角数据中成功重建出高保真的三维网格模型，能够精确表示身体表情与几何结构。
• 通过在三维网格上使用标准模板图谱投影，有效实现了视图特定外观的建模，支持一致的纹理映射与视图依赖渲染。
• 该数据集支持更优的人体完整模型学习与重建，展现出与现有视图有限、受试者数量较少的数据集的互补性。
• HUMBI 支持对自然服装下的凝视、面部、双手、身体及衣物动态的详细建模，填补了当前数据集中的关键空白。
• 多视角设置支持鲁棒的三维重建与视图依赖分析，显著增强了其在人体运动与行为建模等下游应用中的潜力。