[论文解读] ECON: Explicit Clothed humans Optimized via Normal integration

Yuliang Xiu, Jinlong Yang+3 more|arXiv (Cornell University)|Dec 14, 2022

3D Shape Modeling and Analysis被引用 8

一句话总结

ECON 提出了一种新颖的方法，通过结合详细的 2D 法线图与显式的 SMPL-X 身体正则化，从单张 RGB 图像重建出高保真、自由形态的穿衣 3D 人体。该方法首先预测前后表面的法线图，然后通过法线积分（d-BiNI）重建不完整的 2.5D 表面，最后利用筛选泊松求解器填补缺失的几何结构，在 CAPE 和 RenderPeople 数据集上实现了最先进的真实感与细节表现。

ABSTRACT

The combination of deep learning, artist-curated scans, and Implicit Functions (IF), is enabling the creation of detailed, clothed, 3D humans from images. However, existing methods are far from perfect. IF-based methods recover free-form geometry, but produce disembodied limbs or degenerate shapes for novel poses or clothes. To increase robustness for these cases, existing work uses an explicit parametric body model to constrain surface reconstruction, but this limits the recovery of free-form surfaces such as loose clothing that deviates from the body. What we want is a method that combines the best properties of implicit representation and explicit body regularization. To this end, we make two key observations: (1) current networks are better at inferring detailed 2D maps than full-3D surfaces, and (2) a parametric model can be seen as a "canvas" for stitching together detailed surface patches. Based on these, our method, ECON, has three main steps: (1) It infers detailed 2D normal maps for the front and back side of a clothed person. (2) From these, it recovers 2.5D front and back surfaces, called d-BiNI, that are equally detailed, yet incomplete, and registers these w.r.t. each other with the help of a SMPL-X body mesh recovered from the image. (3) It "inpaints" the missing geometry between d-BiNI surfaces. If the face and hands are noisy, they can optionally be replaced with the ones of SMPL-X. As a result, ECON infers high-fidelity 3D humans even in loose clothes and challenging poses. This goes beyond previous methods, according to the quantitative evaluation on the CAPE and Renderpeople datasets. Perceptual studies also show that ECON's perceived realism is better by a large margin. Code and models are available for research purposes at econ.is.tue.mpg.de

研究动机与目标

• 为解决基于隐式函数的方法在处理新姿态和宽松衣物时存在的缺陷，这些缺陷常导致退化或不连通的形状。
• 克服显式人体模型的过度约束问题，后者会抑制精细的衣物细节与拓扑结构。
• 结合隐式表示的自由形态灵活性与参数化人体模型的结构鲁棒性。
• 通过利用详细的 2D 法线图作为中间监督，提升 3D 重建的保真度。
• 即使在具有挑战性的姿态和宽松衣物条件下，也能实现完整且高分辨率的 3D 人体形状。

提出的方法

• 该方法首先使用以 SMPL-X 人体估计为条件的图像到图像翻译网络，推断穿衣人体前后表面的详细 2D 法线图。
• 然后通过一种新颖的优化方法，从法线图和由 SMPL-X 网格导出的深度图中重建出两个不完整的高频 2.5D 表面（d-BiNI），该方法在法线保真度、SMPL-X 一致性与轮廓一致性之间实现平衡。
• d-BiNI 表面通过 SMPL-X 进行配准，确保几何对齐的同时保留如褶皱和折痕等精细细节。
• 利用筛选泊松重建方法填补前后表面之间的缺失几何，该方法可在保持平滑性的同时避免出现类似“团块”的伪影。
• 面部和手部区域可选择性地替换为来自 SMPL-X 模型的更清晰、更高保真度的几何结构，以提升视觉质量。
• 最终的 3D 形状通过基于 MLP 的占用网络隐式表示，该网络在体素化的 SMPL-X 和 d-BiNI 表面上以二元交叉熵损失（BCE loss）进行训练。

实验结果

研究问题

• RQ1 2D 法线图是否能有效用于重建比直接 3D 预测更精细的 3D 表面？
• RQ2 显式人体模型正则化是否可用于稳定重建，同时不抑制精细衣物细节？
• RQ3 将法线图与参数化网格结合，是否能提升在新姿态和宽松衣物场景下的鲁棒性？
• RQ4 两阶段的表面重建与修补流水线是否能在真实感与几何精度上超越端到端的隐式函数方法？
• RQ5 d-BiNI 与泊松修补的组合在处理遮挡区域和侧视区域时，与现有方法相比表现如何？

主要发现

• ECON 在 CAPE 和 RenderPeople 数据集上实现了最先进性能，定量指标如 Chamfer Distance 和 F-Score 显著提升。
• 感知评估显示，与 PIFuHD、ICON 和 PaMIR 相比，人类评估者认为 ECON 的重建结果在真实感方面显著更优。
• 该方法成功重建了具有复杂拓扑结构的详细自由形态衣物，包括宽松的裙子和飘逸的织物，即使在具有挑战性的姿态下也表现良好。
• d-BiNI 优化步骤有效保留了法线图中的高频表面细节，同时与 SMPL-X 网格保持一致性。
• ECON 的完整重建流水线（包括泊松修补）生成了平滑、连贯的 3D 形状，避免了其他方法中常见的“团块”伪影。
• 该方法每张图像的运行时间约为 97–112 秒，优于带精炼的 ICON（115 秒），在性能上与最先进方法相当，同时提供了更优的重建质量。