[论文解读] Im2Fit: Fast 3D Model Fitting and Anthropometrics using Single Consumer Depth Camera and Synthetic Data

Qiaosong Wang, Vignesh Jagadeesh+2 more|arXiv (Cornell University)|Oct 3, 2014

3D Shape Modeling and Analysis参考文献 14被引用 4

一句话总结

Im2Fit 提出了一种基于单个消费级深度摄像头和合成数据的实时系统，用于快速进行3D人体拟合与人体测量。通过结合估计的身体测量值与关节周围的局部几何特征，该方法在大规模合成3D人体模型数据集中执行高效的最近邻搜索，以检索出准确且完全参数化的网格模型，身体测量的平均误差仅为1.9 cm。

ABSTRACT

Recent advances in consumer depth sensors have created many opportunities for human body measurement and modeling. Estimation of 3D body shape is particularly useful for fashion e-commerce applications such as virtual try-on or fit personalization. In this paper, we propose a method for capturing accurate human body shape and anthropometrics from a single consumer grade depth sensor. We first generate a large dataset of synthetic 3D human body models using real-world body size distributions. Next, we estimate key body measurements from a single monocular depth image. We combine body measurement estimates with local geometry features around key joint positions to form a robust multi-dimensional feature vector. This allows us to conduct a fast nearest-neighbor search to every sample in the dataset and return the closest one. Compared to existing methods, our approach is able to predict accurate full body parameters from a partial view using measurement parameters learned from the synthetic dataset. Furthermore, our system is capable of generating 3D human mesh models in real-time, which is significantly faster than methods which attempt to model shape and pose deformations. To validate the efficiency and applicability of our system, we collected a dataset that contains frontal and back scans of 83 clothed people with ground truth height and weight. Experiments on real-world dataset show that the proposed method can achieve real-time performance with competing results achieving an average error of 1.9 cm in estimated measurements.

研究动机与目标

• 仅使用单个消费级深度摄像头，实现实时、准确的3D人体建模与人体测量。
• 克服多摄像头阵列或LiDAR等昂贵、笨重且复杂的系统在人体扫描中的局限性。
• 通过使用合成数据，降低收集真实世界人体数据集所带来的成本与隐私问题。
• 实现实时性能，以支持虚拟试穿和电商业务中的服装尺码推荐等实际应用。
• 提供一种简单、用户友好的系统，可在客厅等日常环境中部署使用。

提出的方法

• 利用人口普查和NHANES数据中的真实世界人体尺寸分布，生成合成3D人体模型，覆盖多样化的年龄和性别群体。
• 通过OpenNI获取的关节位置数据，从单张前视深度图像中估计关键身体测量值（如身高、体重）。
• 在关键关节位置（如肩膀、髋部）周围提取局部几何特征，以补充测量估计值。
• 通过组合身体测量值与局部几何特征，形成多维特征向量，实现鲁棒的表征。
• 在完整合成数据集中执行快速最近邻搜索，以检索最匹配的3D人体模型。
• 检索到的模型已完全绑定并参数化，支持实时生成3D网格、标注身体部位，以及实现带有真实褶皱效果的服装拟合。

实验结果

研究问题

• RQ1 仅使用单个消费级深度摄像头，能否在无需多视角或高分辨率扫描的情况下准确估计关键人体测量值？
• RQ2 基于真实人群分布训练的合成3D人体模型，能否有效泛化到真实世界的人体形状，实现准确拟合？
• RQ3 在速度与准确性方面，对大规模合成数据集执行最近邻搜索是否能优于基于学习或优化的方法？
• RQ4 仅通过简单的几何特征和预计算数据集，是否能够实现实时3D人体网格生成与服装拟合？
• RQ5 与现有方法相比，该系统在测量准确性与计算效率方面表现如何？

主要发现

• 该系统实现了实时性能，仅通过单个深度摄像头即可实现快速的3D网格生成与拟合。
• 在包含83名穿着衣物个体的真实世界数据集上，估计身体测量值的平均误差为1.9 cm（以真实身高和体重为基准）。
• 通过利用合成数据与基于特征的匹配方法，该方法能从部分前视图中成功检索出准确的3D人体模型。
• 使用合成数据可广泛覆盖人体形状的变异，且无需面临隐私或数据采集的限制。
• 与通过迭代优化建模形状与姿态变形的方法相比，该方法显著更快。
• 该方法支持虚拟试穿与服装尺码推荐等实际应用，能够生成逼真且可动画化的3D虚拟形象。