[论文解读] Learning to Reconstruct People in Clothing from a Single RGB Camera

Thiemo Alldieck, Marcus Magnor+3 more|arXiv (Cornell University)|Mar 14, 2019

3D Shape Modeling and Analysis参考文献 83被引用 13

一句话总结

Octopus 是一种深度学习模型，能够从 1–8 帧单目 RGB 视频中重建出带有衣物和头发的详细 3D 人体形状，重建精度达 4–5 mm，且耗时不足 10 秒。它采用双流（自底向上和自顶向下）CNN 架构，预测姿态无关的形状编码，并通过轮廓对齐优化预测结果，从而实现从最少输入数据出发的快速、高精度且全自动的 3D 虚拟形象生成。

ABSTRACT

This repository contains code corresponding to the paper Learning to Reconstruct People in Clothing from a Single RGB Camera.

研究动机与目标

• 实现仅用少量单目 RGB 视频帧，即可快速、自动地重建个性化人体（含衣物）的 3D 形状。
• 克服基于优化的方法耗时数小时且需大量预处理的局限性。
• 在无需真实世界 3D 真值标注的情况下实现高重建精度。
• 实现对可变数量输入帧（包括仅 1 帧）的鲁棒推理。
• 尽管仅在合成 3D 数据上进行训练，仍能泛化到真实世界数据。

提出的方法

• 该模型使用 CNN 将 F 帧输入视频编码为 F 个姿态无关的潜在编码，并在标准 T 姿势空间中融合为单一形状编码。
• 双流架构通过自底向上和自顶向下路径预测 SMPL 人体参数与 3D 顶点偏移量（用于衣物和头发），实现双向信息流动。
• 自底向上的预测每帧耗时 50 ms，随后通过轮廓重叠与关节重投影误差优化，在 10 秒内完成自顶向下的精炼。
• 模型仅在合成数据上进行训练，包括合成视频序列、语义分割掩码和关键点标注，无需真实 3D 真值。
• T 姿势标准空间确保形状编码与姿态无关，从而实现多视角信息的有效融合。
• 推理过程中，同一模型同时执行自底向上的预测与自顶向下的精炼，使用相同的输入帧，确保端到端一致性。

实验结果

研究问题

• RQ1 深度学习模型能否仅从 1–8 帧单目 RGB 视频中高精度地重建出带有衣物和头发的详细 3D 人体形状？
• RQ2 能否通过单一模型结合自底向上预测的速度与自顶向下精炼的精度，且无需真实 3D 标注？
• RQ3 仅在合成数据上训练的模型，其在真实世界单目 RGB 数据上的泛化能力如何？
• RQ4 输入帧数量与优化时间对重建精度与速度的影响是什么？
• RQ5 模型能否在保持完全自动化的同时实现高精度，从而适用于 VR/AR 和虚拟试穿等实时应用？

主要发现

• Octopus 在 100% 完全监督下实现平均顶点重建误差 4.47 ± 4.41 mm，经自顶向下优化后降低至 3.17 ± 3.41 mm。
• 即使仅使用 10% 完全监督，模型仍保持高精度：优化前平均误差为 4.73 ± 4.56 mm，优化后降至 3.46 ± 3.62 mm，表明对有限监督具有鲁棒性。
• 该方法在 10 秒内完成 3D 形状重建，比当前最先进的基于优化的方法（约需 2 小时）快数个数量级。
• 定性对比显示，Octopus 在仅使用 8 帧 RGB 图像的情况下，其结果与 [6] 和 [9] 的方法相当，后者使用了 120 帧或 RGB-D 数据。
• 尽管仅在合成数据上训练，模型在真实世界数据（包括 PeopleSnapshot 和 LifeScans 数据集）上仍表现出良好的泛化能力。
• 采用标准 T 姿势空间可有效融合多视角信息，因为潜在编码与姿态无关，因而适合聚合。