[论文解读] A Generic Deep Architecture for Single Image Reflection Removal and Image Smoothing

Qingnan Fan, Jiaolong Yang+3 more|arXiv (Cornell University)|Aug 11, 2017

Image Enhancement Techniques参考文献 5被引用 25

一句话总结

本文提出 CEILNet，一种通用的深度学习架构，通过首先利用级联卷积神经网络（CNN）预测边缘图，再基于这些边缘图重建图像，从而实现去反射和图像平滑。该方法在无需手工设计组件的情况下，在两项任务中均取得了最先进性能，采用了一种新颖的弱监督训练策略，利用合成反射数据进行去反射任务的训练。

ABSTRACT

This paper proposes a deep neural network structure that exploits edge information in addressing representative low-level vision tasks such as layer separation and image filtering. Unlike most other deep learning strategies applied in this context, our approach tackles these challenging problems by estimating edges and reconstructing images using only cascaded convolutional layers arranged such that no handcrafted or application-specific image-processing components are required. We apply the resulting transferrable pipeline to two different problem domains that are both sensitive to edges, namely, single image reflection removal and image smoothing. For the former, using a mild reflection smoothness assumption and a novel synthetic data generation method that acts as a type of weak supervision, our network is able to solve much more difficult reflection cases that cannot be handled by previous methods. For the latter, we also exceed the state-of-the-art quantitative and qualitative results by wide margins. In all cases, the proposed framework is simple, fast, and easy to transfer across disparate domains.

研究动机与目标

• 解决单图像去反射这一具有挑战性的低层次视觉任务，该任务因真实世界训练数据有限而困难。
• 开发一种通用的深度学习框架，使其能泛化于多种边缘敏感的图像处理任务。
• 通过引入使用合成反射数据的弱监督训练策略，克服去反射任务中缺乏真实标签数据的问题。
• 通过端到端地近似多种成熟滤波器，实现在图像平滑任务中的最先进性能。
• 通过仅使用堆叠的卷积层构建端到端可训练的流水线，彻底摆脱对手工设计图像处理模块的依赖。

提出的方法

• 设计一个级联的两阶段网络：首先使用深度监督的CNN预测边缘图（相邻像素之间的颜色差异），然后利用预测的边缘图重建目标图像。
• 仅使用标准卷积层，不引入任何应用特定或手工设计的组件，从而实现结构简洁性与良好的可迁移性。
• 通过一种新颖的合成数据生成方法训练去反射分支，该方法模拟物理反射特性，作为弱监督信号。
• 利用反射层比背景层更平滑的假设，以此指导边缘预测与图像重建过程。
• 在合成数据上通过监督学习实现端到端训练，其中边缘预测与图像重建阶段联合优化。
• 通过在滤波后的图像上微调，将相同架构应用于图像平滑任务，从而实现对L0、L1、RTV、RGF和WLS滤波器的近似。

实验结果

研究问题

• RQ1 是否能够通过一种通用的深度学习架构，在无需多输入或用户标注的情况下，有效解决单图像去反射问题？
• RQ2 当真实标签数据不可用时，如何有效训练深度网络以实现去反射？
• RQ3 一个单一的边缘感知架构能否在诸如去反射与图像平滑等多样化的低层次视觉任务中实现良好泛化？
• RQ4 级联的边缘与图像学习框架在定量与定性指标上，相较于现有方法能有多大程度的性能提升？
• RQ5 使用具有物理反射建模的合成数据，是否能实现对真实世界反射情况的鲁棒泛化？

主要发现

• CEILNet在图像平滑任务中达到最先进性能，在L0、L1、RTV、RGF和WLS滤波器近似任务中，PSNR与视觉质量均优于以往方法。
• 在L0平滑基准测试中，CEILNet在'building'数据集上达到38.04 dB的PSNR，在'ruins'数据集上达到37.39 dB，在'grasslands'数据集上达到37.10 dB，显著优于Xu et al. [11] 和 Liu et al. [6]。
• 在去反射任务中，CEILNet显著优于无边缘监督的CEILNet-naïve与I-CNN，尤其在具有强非均匀反射的复杂真实场景中表现更优。
• 该方法成功去除了真实世界图像中的反射（例如博物馆玻璃或飞机舷窗中的反射），即使在无真实标签的情况下，也能生成视觉上清晰的背景重建结果。
• 合成数据生成方法实现了有效的弱监督，使网络能够在无真实训练数据的情况下泛化至真实反射场景。
• CEILNet展现出强大的可迁移性：相同的架构与训练范式经少量修改后，可成功应用于去反射与图像平滑任务。