[论文解读] Do 2D GANs Know 3D Shape? Unsupervised 3D shape reconstruction from 2D Image GANs

Xingang Pan, Bo Dai+3 more|arXiv (Cornell University)|Nov 2, 2020

Generative Adversarial Networks and Image Synthesis参考文献 43被引用 51

一句话总结

该论文显示，直接在 RGB 图像上训练的现成二维 GAN 可以包含潜在的三维几何线索，使通过在具有弱形状先验和可微分渲染的 GAN 图像流形上迭代探索，从单张图像进行无监督的 3D 形状重建。

ABSTRACT

Natural images are projections of 3D objects on a 2D image plane. While state-of-the-art 2D generative models like GANs show unprecedented quality in modeling the natural image manifold, it is unclear whether they implicitly capture the underlying 3D object structures. And if so, how could we exploit such knowledge to recover the 3D shapes of objects in the images? To answer these questions, in this work, we present the first attempt to directly mine 3D geometric cues from an off-the-shelf 2D GAN that is trained on RGB images only. Through our investigation, we found that such a pre-trained GAN indeed contains rich 3D knowledge and thus can be used to recover 3D shape from a single 2D image in an unsupervised manner. The core of our framework is an iterative strategy that explores and exploits diverse viewpoint and lighting variations in the GAN image manifold. The framework does not require 2D keypoint or 3D annotations, or strong assumptions on object shapes (e.g. shapes are symmetric), yet it successfully recovers 3D shapes with high precision for human faces, cats, cars, and buildings. The recovered 3D shapes immediately allow high-quality image editing like relighting and object rotation. We quantitatively demonstrate the effectiveness of our approach compared to previous methods in both 3D shape reconstruction and face rotation. Our code is available at https://github.com/XingangPan/GAN2Shape.

研究动机与目标

• 探索预训练的二维 GAN 是否本质上能捕捉 3D 几何。
• 开发一个无监督管线，从单张 2D 图像在没有 2D 关键点或 3D 注释的情况下重建 3D 形状。
• 使 GAN 派生的 3D 形状能够进行 3D 感知的图像操作，如旋转和重新照明。
• 评估与现有的无监督 3D 重建方法的对比，并展示跨类别的适用性。

提出的方法

• 使用弱凸形状先验（椭球）来初始化目标图像的深度。
• 使用当前深度/反照率，对随机视点和光照渲染伪样本，然后对这些样本进行 GAN 反演，以获得在 GAN 流形内投影的样本。
• 通过一条照片几何自编码管线学习 3D 形状，联合优化投影样本的深度、反照率、视点和光照，以使重建的投影与投影样本相匹配。
• 通过循环迭代地细化 3D 形状和网络，以捕捉更细的细节。
• 结合正规化的潜在偏移策略，使 GAN 潜在变量保持在中间潜在空间内，并提升重建质量。
• 可选地通过使用相对潜在偏移进行联合多实例训练，以获得更好的泛化。

实验结果

研究问题

• RQ1 在面向人脸、汽车和建筑等对象的 RGB 图像上训练的 2D GAN 是否隐式编码了 3D 几何？
• RQ2 通过利用 GAN 图像流形和弱形状先验，单张 2D 图像是否能够在无监督管线下重建出准确的 3D 形状？
• RQ3 形状先验与潜在正则化对 3D 重建质量和对称性假设有何影响？
• RQ4 恢复的 3D 形状在实现旋转和重新照明等 3D 感知操作方面表现如何？
• RQ5 所提方法与现有的标准基准下的无监督 3D 形状学习方法相比如何？

主要发现

• 该方法能够从单张图像以高保真度重建面孔、猫、汽车和建筑的 3D 形状。
• 与 Unsup3d 相比，该方法在处理非对称性和较大视角变化方面表现更好，且避免依赖对称先验。
• 在 BFM 的定量结果显示与基线相比在 SIDE 与 MAD 指标上具有优势，证明在没有关键点或 3D 监督的情况下实现了更好的 3D 重建。
• 恢复的 3D 形状能够实现现实的 3D 感知操作，如旋转和重新照明，与底层 3D 几何高度一致。