[论文解读] Synthesizing a 4D Spatio-Angular Consistent Light Field from a Single Image

Andre Ivan, Williem Williem+1 more|arXiv (Cornell University)|Mar 29, 2019

Advanced Vision and Imaging参考文献 28被引用 5

一句话总结

该论文提出了一种端到端深度学习模型，通过使用外观光流作为几何表示，从单张图像合成4D时空一致的光场，避免了基于物理的渲染和后处理网络。该方法引入了基于光场领域知识的新型损失函数，以强制实现时空一致性，在任意场景下实现了最先进的性能，提升了深度估计和重新对焦能力。

ABSTRACT

Synthesizing a densely sampled light field from a single image is highly beneficial for many applications. The conventional method reconstructs a depth map and relies on physical-based rendering and a secondary network to improve the synthesized novel views. Simple pixel-based loss also limits the network by making it rely on pixel intensity cue rather than geometric reasoning. In this study, we show that a different geometric representation, namely, appearance flow, can be used to synthesize a light field from a single image robustly and directly. A single end-to-end deep neural network that does not require a physical-based approach nor a post-processing subnetwork is proposed. Two novel loss functions based on known light field domain knowledge are presented to enable the network to preserve the spatio-angular consistency between sub-aperture images effectively. Experimental results show that the proposed model successfully synthesizes dense light fields and qualitatively and quantitatively outperforms the previous model . The method can be generalized to arbitrary scenes, rather than focusing on a particular class of object. The synthesized light field can be used for various applications, such as depth estimation and refocusing.

研究动机与目标

• 解决从单张图像合成密集采样4D光场的病态问题。
• 通过使用外观光流作为几何表示，消除对深度图和基于物理的渲染的依赖。
• 通过基于光场领域知识的新型损失函数，提升合成光场的时空一致性。
• 在包括复杂和非朗伯表面在内的任意场景中实现良好泛化，优于以往专注于特定物体类别的方法。
• 利用合成的光场支持下游应用，如深度估计和重新对焦。

提出的方法

• 使用一个端到端的深度神经网络，直接从单张RGB输入预测外观光流（u×v×2），表示x和y方向的位移。
• 采用空洞卷积的全连接网络，以捕捉多尺度上下文并保留精细细节。
• 引入两种新型损失函数：全局损失用于强制整个光场的一致性，局部损失用于在子孔径级别保持角度和空间一致性。
• 通过图像移位生成亮度（Y）和RGB光场，其中Y用于损失计算，RGB用于输出。
• 使用引导滤波进行后处理，以聚合外观光流，减少噪声并保留不连续区域的边缘。
• 通过双线性采样从预测的外观光流生成最终光场，实现视图合成。

实验结果

研究问题

• RQ1 外观光流能否作为无需依赖深度图或基于物理渲染的单图像光场合成的鲁棒几何表示？
• RQ2 如何通过可学习的、领域感知的损失函数在合成光场中强制实现时空一致性？
• RQ3 单一端到端深度网络能否在包括复杂背景和非朗伯表面在内的任意场景中，优于先前方法实现更好泛化？
• RQ4 与标准像素级损失相比，所提出的损失函数在几何精度方面提升了多少？
• RQ5 合成的光场能否在下游应用（如深度估计和重新对焦）中有效使用？

主要发现

• 在包含后处理的Flower数据集上，该方法达到PSNR 36.55和SSIM 0.932，优于先前的单图像方法。
• 在General数据集上，该方法在包含后处理的情况下达到PSNR 30.92和SSIM 0.87，展现出对多样化场景的强大泛化能力。
• 消融实验证明，结合全局和局部损失可获得最佳性能（PSNR 36.31，SSIM 0.931），优于单独使用任一损失或L1损失。
• 后处理在General数据集上使性能提升最高达1 dB，表明其在复杂区域平滑噪声光流方面的有效性。
• 合成的光场支持高质量的深度估计和合成的散焦模糊，证实了其几何正确性及在下游任务中的实用性。
• 与Srinivasan等人[18]相比，该方法在处理镜面反射和复杂场景中的错误EPI斜率方面泛化能力更强。