[论文解读] DeepView: View Synthesis with Learned Gradient Descent

John P. Flynn, Michael Broxton+6 more|arXiv (Cornell University)|Jun 18, 2019

Advanced Vision and Imaging参考文献 34被引用 21

一句话总结

DeepView 提出了一种基于学习的梯度下降方法，用于从稀疏输入视角重建高质量的多平面图像（MPI），实现了先进的视图合成效果，并提升了遮挡推理能力。通过在梯度中建模可见性，该方法在复杂场景中表现优异，尤其在边缘、反射和高深度复杂度区域，优于先前方法在Kalantari光场数据集和一个新的公开数据集Spaces上的表现。

ABSTRACT

We present a novel approach to view synthesis using multiplane images (MPIs). Building on recent advances in learned gradient descent, our algorithm generates an MPI from a set of sparse camera viewpoints. The resulting method incorporates occlusion reasoning, improving performance on challenging scene features such as object boundaries, lighting reflections, thin structures, and scenes with high depth complexity. We show that our method achieves high-quality, state-of-the-art results on two datasets: the Kalantari light field dataset, and a new camera array dataset, Spaces, which we make publicly available.

研究动机与目标

• 解决从稀疏相机视角重建多平面图像（MPI）这一病态逆问题。
• 在物体边界、反射、细结构和高深度复杂度等挑战性场景中提升视图合成质量。
• 通过学习一种数据驱动的更新规则，隐式引入场景先验，克服标准梯度下降在MPI优化中的局限性。
• 引入一个新的大规模真实世界数据集Spaces，用于训练和评估视图合成方法。
• 证明基于学习的梯度下降能够以极少的迭代次数生成高质量、可实时渲染的MPI。

提出的方法

• 使用深度神经网络在迭代优化过程中学习梯度更新规则，以学习到的更新函数替代标准梯度下降。
• 通过卷积神经网络（CNN）处理输入图像，生成初始MPI，随后通过几次迭代的基于学习的梯度下降进行优化。
• 在梯度计算中显式建模输入视角与MPI层之间的可见性，实现精确的遮挡推理。
• 利用梯度的直观形式作为可见性感知的误差信号，使网络能够学习保持在自然场景流形上的表示。
• 通过在输入视角上进行最大池化操作，实现对输入相机数量的灵活性，为未来扩展至固定视角数量之外提供了潜力。
• 使用可微分渲染器端到端训练模型，以输入视角测量值为目标，优化MPI参数。

实验结果

研究问题

• RQ1 基于学习的梯度下降是否能提升视图合成中MPI重建质量，特别是在具有挑战性的场景特征方面？
• RQ2 与标准梯度下降相比，可见性感知的梯度计算在MPI优化中如何提升遮挡推理能力？
• RQ3 学习到的更新规则在多大程度上能隐式编码场景先验，从而减少过拟合和视觉伪影？
• RQ4 该方法能否泛化到具有高深度复杂度、反射和细结构的多样化真实世界场景？
• RQ5 DeepView在标准数据集和新引入的基准数据集上的性能与现有最先进方法相比如何？

主要发现

• DeepView在Kalantari光场数据集和新的公开数据集Spaces上均实现了最先进的视图合成性能。
• 该方法生成了高质量结果，边缘清晰，反射准确，对细结构和复杂植被的处理正确。
• 与Soft3D相比，DeepView显著减少了模糊和边缘伪影，尤其在高深度复杂度区域表现更优。
• 通过在MPI中使用透明的alpha值，模型能够重建漫反射，使远处平面的可见性得以保留。
• 从MPI中提取的深度图在物体边界附近表现出高精度，但在平滑区域由于缺乏显式的深度监督，表现较弱。
• 在P100 GPU上，对于4个输入视角，该方法约需50秒完成推理，可实现实时渲染新视角的MPI。