[论文解读] Global-correlated 3D-decoupling Transformer for Clothed Avatar Reconstruction

Zechuan Zhang, Li Sun+3 more|arXiv (Cornell University)|Sep 24, 2023

Human Pose and Action Recognition被引用 7

一句话总结

本文提出GTA，一种基于Transformer的新型单图像3D着装人物重建方法。该方法使用视觉Transformer编码器捕捉全局相关图像特征，并采用带有可学习嵌入和交叉注意力机制的3D解耦解码器，以解耦三平面特征。该模型在性能上达到最先进水平，在CAPE-FP数据集上的Chamfer距离低于0.8cm，并在复杂姿势和宽松衣物条件下显著提升了纹理质量，PSNR得分更高。

ABSTRACT

Reconstructing 3D clothed human avatars from single images is a challenging task, especially when encountering complex poses and loose clothing. Current methods exhibit limitations in performance, largely attributable to their dependence on insufficient 2D image features and inconsistent query methods. Owing to this, we present the Global-correlated 3D-decoupling Transformer for clothed Avatar reconstruction (GTA), a novel transformer-based architecture that reconstructs clothed human avatars from monocular images. Our approach leverages transformer architectures by utilizing a Vision Transformer model as an encoder for capturing global-correlated image features. Subsequently, our innovative 3D-decoupling decoder employs cross-attention to decouple tri-plane features, using learnable embeddings as queries for cross-plane generation. To effectively enhance feature fusion with the tri-plane 3D feature and human body prior, we propose a hybrid prior fusion strategy combining spatial and prior-enhanced queries, leveraging the benefits of spatial localization and human body prior knowledge. Comprehensive experiments on CAPE and THuman2.0 datasets illustrate that our method outperforms state-of-the-art approaches in both geometry and texture reconstruction, exhibiting high robustness to challenging poses and loose clothing, and producing higher-resolution textures. Codes will be available at https://github.com/River-Zhang/GTA.

研究动机与目标

• 解决现有3D着装人物重建方法严重依赖2D特征和不一致查询策略的局限性。
• 通过利用全局3D特征相关性，提升在复杂姿势和宽松衣物条件下的重建准确率与鲁棒性。
• 通过Transformer和可学习嵌入，开发一种高效且有效的3D特征解耦机制。
• 通过混合查询策略结合空间定位与人体结构先验知识，提升特征融合效果。
• 为虚拟试穿和动画等应用提供高分辨率、可动画化的3D人物。

提出的方法

• 基于视觉Transformer的编码器从单目图像中提取全局相关特征。
• 3D解耦解码器使用可学习嵌入作为查询，通过交叉注意力机制在三个正交平面上解耦三平面3D特征。
• 混合先验融合策略结合空间查询（用于定位）和先验增强查询（用于人体结构引导），以提升特征融合效果。
• 通过三平面表示降低显存消耗，同时保持高分辨率3D几何与纹理重建。
• 模型在THuman2.0数据集上端到端训练，并针对几何与纹理优化进行微调。
• 通过支持参数化人体上的姿态迁移与特征替换，该方法可支持动画和虚拟试穿等下游应用。

实验结果

研究问题

• RQ1 基于Transformer的架构能否有效捕捉全局相关的2D图像特征，从而提升单目图像的3D重建性能？
• RQ2 如何通过可学习嵌入和交叉注意力机制，有效解耦并重建三平面3D特征？
• RQ3 在混合融合策略中结合空间查询与先验增强查询，是否能比单独使用任一查询方式获得更优的几何与纹理重建效果？
• RQ4 所提方法能否在复杂姿势和宽松衣物等挑战性场景下实现泛化，优于现有最先进方法？
• RQ5 所重建的3D人物在多大程度上可应用于动画与虚拟试穿等场景？

主要发现

• GTA在CAPE-FP测试集上实现了低于0.8cm的Chamfer距离，首次突破该阈值，标志着单视角着装人物重建的里程碑。
• 模型在纹理重建方面表现卓越，PSNR得分显著高于现有最先进方法。
• 混合先验融合策略在几何与纹理质量上均优于仅使用空间查询或仅使用先验增强查询的方法。
• 结合交叉注意力与可学习查询的3D解耦解码器，相比基线卷积网络和仅使用自注意力的Transformer，显著提升了几何精度。
• 模型在包含复杂姿势和宽松衣物的野外图像上泛化能力出色，维持了高重建保真度。
• 该方法通过支持参数化3D人体上的姿态迁移与特征替换，成功支持了动画与虚拟试穿等实际应用。