[论文解读] DeOccNet: Learning to See Through Foreground Occlusions in Light Fields

Yingqian Wang, Tianhao Wu+4 more|arXiv (Cornell University)|Dec 10, 2019

Advanced Vision and Imaging参考文献 37被引用 6

一句话总结

DeOccNet 是首个基于深度学习的光场去遮挡方法，采用编码器-解码器网络结构，结合残差空洞空间金字塔池化（ASPP）模块，通过利用多视角互补信息重建无遮挡的中心视图子孔径图像。该方法在合成与真实世界光场数据集上均达到最先进性能，PSNR 和 SSIM 指标显著优于先前方法。

ABSTRACT

Background objects occluded in some views of a light field (LF) camera can be seen by other views. Consequently, occluded surfaces are possible to be reconstructed from LF images. In this paper, we handle the LF de-occlusion (LF-DeOcc) problem using a deep encoder-decoder network (namely, DeOccNet). In our method, sub-aperture images (SAIs) are first given to the encoder to incorporate both spatial and angular information. The encoded representations are then used by the decoder to render an occlusionfree center-view SAI. To the best of our knowledge, DeOccNet is the first deep learning-based LF-DeOcc method. To handle the insufficiency of training data, we propose an LF synthesis approach to embed selected occlusion masks into existing LF images. Besides, several synthetic and realworld LFs are developed for performance evaluation. Experimental results show that, after training on the generated data, our DeOccNet can effectively remove foreground occlusions and achieves superior performance as compared to other state-of-the-art methods. Source codes are available at: https://github.com/YingqianWang/DeOccNet.

研究动机与目标

• 为解决利用深度学习重建光场中遮挡表面的挑战，传统方法因复杂场景结构而失效。
• 克服缺乏大规模带可移除前景遮挡标注的光场数据集的问题。
• 开发一种方法，有效利用子孔径图像之间的空间与角度信息，以推断遮挡后方缺失区域。
• 通过将无遮挡的中心视图作为真实标签，实现端到端训练，使网络能够学习基于视差的遮挡检测与去除。

提出的方法

• 网络采用编码器-解码器架构，将所有子孔径图像（SAIs）沿通道维度拼接，以保留空间与角度信息。
• 在编码器中集成残差空洞空间金字塔池化（ASPP）模块，以提取多尺度特征并扩展感受野，从而处理各种形状与尺度的遮挡。
• 在编码器与解码器模块之间使用跳跃连接，以保留下采样过程中丢失的高频与低级细节。
• 提出一种新型数据合成方法，将真实遮挡掩码嵌入现有光场图像中，生成超过 1,000 个合成光场用于训练，缓解数据稀缺问题。
• 以无遮挡的中心视图 SAI 作为真实标签，实现端到端训练，使模型能够通过视差差异学习检测并去除前景遮挡。
• 通过依赖视间视差差异而非单视角先验，模型在未见场景（包括倾斜与穿孔遮挡）中表现出良好泛化能力。

Figure 1: An illustration of LF-DeOcc using our rendered scenes Syn01 . (a) Configuration of the scene. Yellow boxes with $5\times 5$ blocks represent camera arrays. (b) Occluded center-view SAI. (c) Results of our DeOccNet . (d) Occlusion-free groundtruth.

实验结果

研究问题

• RQ1 深度学习模型能否通过利用多视角互补信息，有效重建光场中的遮挡表面？
• RQ2 当缺乏大规模真实世界光场数据集（含可移除遮挡）时，如何有效训练深度网络？
• RQ3 多尺度特征提取与跳跃连接在多大程度上提升了去遮挡光场重建的质量？
• RQ4 在仅使用合成的栅栏状遮挡进行训练的网络，能否泛化到具有复杂、倾斜或不规则遮挡的真实世界场景？
• RQ5 如何利用视差差异实现光场中前景遮挡的准确检测与去除？

主要发现

• 在真实世界 Bike01 场景中，DeOccNet 实现平均 PSNR 22.45 dB 与 SSIM 0.727，显著优于先前方法。
• 消融实验证明，若移除残差 ASPP 模块，平均 PSNR 下降超过 3 dB，SSIM 下降近 0.1，表明其在感受野扩展中的关键作用。
• 最外层跳跃连接使平均 PSNR 提升 3.34 dB，SSIM 提升 0.14，证实其在保留高频细节中的重要性。
• 即使输入中心视图完全相同，DeOccNet 仍无法重建，确认其依赖多视角视差差异，而非单图像修复机制。
• 尽管仅在前向平行、栅栏状掩码上训练，模型在倾斜与穿孔遮挡场景（如 Bike01 中的篮子）中仍表现出良好泛化能力。
• 对于实体块状遮挡（如 Bike02 右下角），网络性能较差，表明当背景在所有视角中均被遮挡时存在局限性，凸显结合视角与邻域先验的必要性。

Figure 2: An overview of our DeOccNet . (a) The overall architecture. (b) The structure of the residual ASPP module.