[论文解读] Deep 3D-Zoom Net: Unsupervised Learning of Photo-Realistic 3D-Zoom

Juan Luis Gonzalez Bello, Munchurl Kim|arXiv (Cornell University)|Sep 20, 2019

Advanced Vision and Imaging参考文献 22被引用 4

一句话总结

该论文提出 Deep 3D-Zoom Net，一种无监督深度学习框架，通过利用预训练的视差网络进行迁移学习、反向重投影重建损失以及对抗性判别器，从单张输入图像生成逼真的3D变焦图像。该方法在 KITTI 和 Cityscapes 数据集上实现了自然图像质量和伪影减少方面的最先进性能，且无需依赖3D变焦真实值。

ABSTRACT

The 3D-zoom operation is the positive translation of the camera in the Z-axis, perpendicular to the image plane. In contrast, the optical zoom changes the focal length and the digital zoom is used to enlarge a certain region of an image to the original image size. In this paper, we are the first to formulate an unsupervised 3D-zoom learning problem where images with an arbitrary zoom factor can be generated from a given single image. An unsupervised framework is convenient, as it is a challenging task to obtain a 3D-zoom dataset of natural scenes due to the need for special equipment to ensure camera movement is restricted to the Z-axis. In addition, the objects in the scenes should not move when being captured, which hinders the construction of a large dataset of outdoor scenes. We present a novel unsupervised framework to learn how to generate arbitrarily 3D-zoomed versions of a single image, not requiring a 3D-zoom ground truth, called the Deep 3D-Zoom Net. The Deep 3D-Zoom Net incorporates the following features: (i) transfer learning from a pre-trained disparity estimation network via a back re-projection reconstruction loss; (ii) a fully convolutional network architecture that models depth-image-based rendering (DIBR), taking into account high-frequency details without the need for estimating the intermediate disparity; and (iii) incorporating a discriminator network that acts as a no-reference penalty for unnaturally rendered areas. Even though there is no baseline to fairly compare our results, our method outperforms previous novel view synthesis research in terms of realistic appearance on large camera baselines. We performed extensive experiments to verify the effectiveness of our method on the KITTI and Cityscapes datasets.

研究动机与目标

• 为解决由于受限于仅沿Z轴运动的相机运动和移动物体，导致难以获取大规模真实世界3D变焦数据集的问题。
• 将3D变焦生成问题形式化并作为无监督学习任务求解，避免依赖昂贵的3D变焦真实值。
• 开发一种新框架，通过建模深度和外观来合成逼真的3D变焦图像，而无需显式估计视差。
• 通过对抗训练和感知损失，提升图像真实感并减少鬼影和模糊等伪影。
• 实现快速推理并泛化至未见的户外场景，已在 KITTI 和 Cityscapes 数据集上验证。

提出的方法

• 利用预训练视差估计网络的迁移学习，初始化无需真实深度的深度感知特征。
• 采用一种新颖的反向重投影重建损失，强制在不同相机姿态下，合成图像与输入图像之间保持一致性。
• 使用全卷积网络架构，直接从输入图像执行基于深度图像的渲染（DIBR），避免中间视差估计步骤。
• 引入基于 GAN 的判别器，作为无参考质量度量，惩罚生成图像中不自然或失真的区域。
• 应用基于预训练 VGG 网络特征的感知损失，以保留高频细节和纹理保真度。
• 采用缩放因子采样策略，使用左偏正态分布（μ=3, σ=1），优先在更高缩放因子上进行训练，此时遮挡和退化现象更严重。

实验结果

研究问题

• RQ1 3D变焦图像生成是否能在无3D变焦真实值的情况下，以无监督方式有效学习？
• RQ2 单图3D变焦模型如何利用预训练视差网络隐式推断3D结构？
• RQ3 反向重投影重建损失在提升几何一致性与外观真实感方面有多大改善作用？
• RQ4 对抗训练在减少3D变焦图像中鬼影和模糊等伪影方面有多有效？
• RQ5 所提方法能否泛化至训练分布之外的多样化户外场景，例如 Cityscapes 数据集中的场景？

主要发现

• 所提方法在 KITTI 和 Cityscapes 数据集上均实现了最先进的逼真度表现，由于缺乏3D变焦基准，无直接基线可比。
• 引入对抗损失后，平均 NIQE 分数从 2.99 降至 2.86，表明感知图像质量有可测量的提升。
• 感知损失对质量提升贡献最大，尤其在标志和车辆标识等纹理区域。
• 模型可在缩放因子高达 3.0 的情况下生成高质量3D变焦图像，且在 Titan Xp GPU 上推理仅需 0.01 秒。
• 模型在 Cityscapes 数据集中未见场景上泛化良好，生成结果逼真，而前向变形和数字变焦则因模糊和均匀缩放而失败。
• 消融实验确认，所有组件——细化模块、感知损失和对抗损失——均有助于提升图像质量，其中对抗损失在抑制鬼影伪影方面尤为有效。