[论文解读] Deep View Morphing

Dinghuang Ji, Kwon Junghyun+2 more|arXiv (Cornell University)|Mar 7, 2017

Advanced Vision and Imaging参考文献 10被引用 19

一句话总结

本文提出了一种基于CNN的视图合成方法——Deep View Morphing，通过引入校正网络、用于密集对应关系和混合掩码的编码器-解码器网络，以及视图形变网络，显著提升了中间视图的生成质量。与现有方法相比，该方法在减少纹理损失和形状失真方面表现更优。

ABSTRACT

Recently, convolutional neural networks (CNN) have been successfully applied to view synthesis problems. However, such CNN-based methods can suffer from lack of texture details, shape distortions, or high computational complexity. In this paper, we propose a novel CNN architecture for view synthesis called Deep View Morphing that does not suffer from these issues. To synthesize a middle view of two input images, a rectification network first rectifies the two input images. An encoder-decoder network then generates dense correspondences between the rectified images and blending masks to predict the visibility of pixels of the rectified images in the middle view. A view morphing network finally synthesizes the middle view using the dense correspondences and blending masks. We experimentally show the proposed method significantly outperforms the state-of-the-art CNN-based view synthesis method.

研究动机与目标

• 解决基于CNN的视图合成方法中存在的纹理细节损失和形状失真问题。
• 在保持高图像质量的同时，降低视图合成的计算复杂度。
• 提高新视图生成中像素可见性预测的准确性。
• 开发一种稳健的端到端深度学习框架，用于从两幅输入图像合成中间视图。

提出的方法

• 校正网络将两幅输入图像对齐到同一坐标空间，以简化对应关系学习。
• 编码器-解码器网络预测校正后图像之间的密集对应关系和混合掩码。
• 混合掩码用于估计每幅输入图像像素在最终中间视图中的可见性。
• 视图形变网络利用密集对应关系和混合掩码来合成目标中间视图。
• 整个流程端到端训练，以优化视图合成质量。

实验结果

研究问题

• RQ1 深度学习架构能否有效减少基于CNN的视图合成中的纹理细节损失？
• RQ2 密集对应关系和可见性掩码在多大程度上能提升新视图合成的质量？
• RQ3 所提出的方法是否优于现有的最先进基于CNN的视图合成技术？
• RQ4 该架构在多大程度上减少了合成视图中的形状失真？

主要发现

• 所提方法在定性和定量评估中均显著优于最先进基于CNN的视图合成方法。
• 与基线基于CNN的方法相比，该方法有效减少了纹理细节损失。
• 使用密集对应关系和可见性掩码可实现更准确、更自然的视图合成。
• 该架构在合成视图中表现出更强的抗形状失真能力。