[论文解读] Learning Implicit 3D Representations of Dressed Humans from Sparse Views

Pierre Zins, Yuanlu Xu+3 more|arXiv (Cornell University)|Apr 16, 2021

Human Pose and Action Recognition被引用 23

一句话总结

该论文提出了一种端到端方法，通过引入基于注意力的特征融合层和多视角上下文下的局部3D模式编码机制，从稀疏多视角输入中学习着装人体的隐式3D表示，在标准基准上实现了最先进性能，并实现了与多视角立体方法相当的高质量重建，且所需视角数量显著更少。

ABSTRACT

Recently, data-driven single-view reconstruction methods have shown great progress in modeling 3D dressed humans. However, such methods suffer heavily from depth ambiguities and occlusions inherent to single view inputs. In this paper, we address such issues by lifting the single-view input with additional views and investigate the best strategy to suitably exploit information from multiple views. We propose an end-to-end approach that learns an implicit 3D representation of dressed humans from sparse camera views. Specifically, we introduce two key components: first an attention-based fusion layer that learns to aggregate visual information from several viewpoints; second a mechanism that encodes local 3D patterns under the multi-view context. In the experiments, we show the proposed approach outperforms the state of the art on standard data both quantitatively and qualitatively. Additionally, we apply our method on real data acquired with a multi-camera platform and demonstrate our approach can obtain results comparable to multi-view stereo with dramatically less views.

研究动机与目标

• 解决单视角着装人体3D重建中的深度模糊性和遮挡问题。
• 通过利用多个稀疏视角而非依赖单一输入视角，提升3D重建质量。
• 开发一种端到端学习框架，从有限的摄像机视角隐式表示3D着装人体形状。
• 在远少于传统多视角立体方法所需视角的数量下，实现高保真度3D重建。

提出的方法

• 引入基于注意力的特征融合层，以动态聚合来自多个视角的视觉特征。
• 采用多视角上下文感知机制，利用多个视角的特征编码局部3D模式。
• 使用神经网络端到端训练，学习人体和衣物的隐式3D表示。
• 采用可微分渲染与监督策略，基于多视角监督优化隐式表示。
• 结合多视角特征与几何一致性，提升深度估计并减少模糊性。
• 通过多视角监督与隐式形状正则化相结合的方式训练模型。

实验结果

研究问题

• RQ1 基于注意力的特征融合是否能有效结合稀疏多视角输入的视觉线索，用于着装人体的3D重建？
• RQ2 在遮挡和深度模糊的情况下，学习得到的隐式表示在捕捉衣物和身体形状的精细细节方面表现如何？
• RQ3 该方法在显著减少视角数量的前提下，能在多大程度上实现与多视角立体方法相当的性能？
• RQ4 多视角上下文的引入是否改善了隐式表示中的局部3D模式编码？
• RQ5 该模型能否在多相机平台捕获的真实世界数据上实现良好泛化？

主要发现

• 所提方法在标准着装人体3D重建基准上实现了最先进定量结果。
• 与现有单视角和多视角基线相比，该模型生成了质量更优的定性重建结果。
• 在多相机平台捕获的真实世界数据上，该方法使用远少于多视角立体方法的输入视角，实现了与之相当的重建效果。
• 基于注意力的特征融合层有效聚合了跨视角的有用特征，降低了噪声和模糊性。
• 局部3D模式编码机制显著增强了细节保留能力，尤其在遮挡区域和复杂衣物区域表现更优。
• 该方法在真实世界稀疏视角数据上表现出鲁棒性和泛化能力，证实了其实际应用潜力。