[论文解读] Im2Avatar: Colorful 3D Reconstruction from a Single Image

Yongbin Sun, Ziwei Liu+2 more|arXiv (Cornell University)|Apr 17, 2018

Advanced Vision and Imaging参考文献 20被引用 31

一句话总结

本文提出 Im2Avatar，一种名为 Colorful Voxel Network (CVN) 的端到端可训练框架，通过联合学习 3D 形状与表面颜色，从单张图像重建出细节丰富、带纹理的 3D 物体。该框架引入一种新颖的混合方案，结合外观幻觉与基于回归和光流的色彩体投影，实现了在视觉质量与跨多样化类别及视角下的最先进性能。

ABSTRACT

Existing works on single-image 3D reconstruction mainly focus on shape recovery. In this work, we study a new problem, that is, simultaneously recovering 3D shape and surface color from a single image, namely "colorful 3D reconstruction". This problem is both challenging and intriguing because the ability to infer textured 3D model from a single image is at the core of visual understanding. Here, we propose an end-to-end trainable framework, Colorful Voxel Network (CVN), to tackle this problem. Conditioned on a single 2D input, CVN learns to decompose shape and surface color information of a 3D object into a 3D shape branch and a surface color branch, respectively. Specifically, for the shape recovery, we generate a shape volume with the state of its voxels indicating occupancy. For the surface color recovery, we combine the strength of appearance hallucination and geometric projection by concurrently learning a regressed color volume and a 2D-to-3D flow volume, which are then fused into a blended color volume. The final textured 3D model is obtained by sampling color from the blended color volume at the positions of occupied voxels in the shape volume. To handle the severe sparse volume representations, a novel loss function, Mean Squared False Cross-Entropy Loss (MSFCEL), is designed. Extensive experiments demonstrate that our approach achieves significant improvement over baselines, and shows great generalization across diverse object categories and arbitrary viewpoints.

研究动机与目标

• 为解决从单张图像同时恢复 3D 形状与表面颜色的挑战，该问题在以往研究中尚未得到充分探索。
• 开发一种端到端可训练的框架，联合优化形状占据与表面颜色，同时处理稀疏体素表示。
• 通过在统一的色彩学习机制中结合外观幻觉与几何投影，提升视觉保真度与泛化能力。
• 支持实际应用，如 'Im2Avatar'，实现快速 3D 原型设计与沉浸式 VR/AR 体验。

提出的方法

• 该框架使用两个独立的编码-解码网络分别进行形状与颜色学习，共享特征提取模块并采用独立的输出头。
• 形状恢复建模为 3D 占据体，通过一种新型的均方虚假交叉熵损失（MSFCEL）进行优化，以应对稀疏性并提升分辨率。
• 颜色学习采用回归色彩体与 2D 到 3D 光流体，二者融合生成混合色彩体，以减少冗余并增强真实感。
• 仅在占据体素位置进行颜色采样，损失计算仅针对表面颜色体素，排除无关的空体素。
• 混合机制通过学习到的权重自适应地结合幻觉颜色与投影颜色，提升对遮挡与复杂纹理的鲁棒性。
• 模型采用复合损失函数进行端到端训练，包含形状、颜色回归、光流、混合与 MSFCEL 项。

实验结果

研究问题

• RQ1 深度学习框架能否在高视觉质量下，从单张图像联合重建 3D 形状与表面颜色？
• RQ2 如何有效结合外观幻觉与几何投影，以在稀疏体素设置下提升颜色重建质量？
• RQ3 所提出的混合机制在多类别与多视角下，对颜色真实感与泛化能力的提升程度如何？
• RQ4 与标准交叉熵损失相比，新型 MSFCEL 损失在稀疏体素设置下对形状重建性能的改善程度如何？

主要发现

• 所提出的 CVN 框架在 3D 重建中实现了卓越的视觉质量，用户研究表明其显著优于基线模型（颜色回归与仅光流模型）。
• 该框架在多样化物体类别中泛化良好，包括 CAD 模型与活动人体模型，在任意视角下均保持一致性能。
• 在 ShapeNet 汽车类别上，形状重建的平均交并比（IoU）为 0.395，优于统一网络变体（0.386）。
• 模型在具有丰富纹理的复杂人体模型上保持高性能，展现出对颜色复杂性与遮挡的鲁棒性。
• 视角影响较小，侧视图的形状重建效果优于前视图与后视图，因其能更好地捕捉对称性与细节。
• 当颜色复杂度超过约 40 个独立颜色簇时，性能开始下降，表明在极高颜色复杂度输入下存在处理极限。