[论文解读] CRRN: Multi-Scale Guided Concurrent Reflection Removal Network
该论文提出CRRN，一种并发深度学习框架，通过多尺度引导特征融合与感知损失，联合推断背景图像与梯度以实现去反光。在包含3,250张图像的新真实世界数据集上进行训练，CRRN在定量指标与视觉质量方面均优于最先进方法，尤其在保留细节与减少模糊方面表现优异。
Removing the undesired reflections from images taken through the glass is of broad application to various computer vision tasks. Non-learning based methods utilize different handcrafted priors such as the separable sparse gradients caused by different levels of blurs, which often fail due to their limited description capability to the properties of real-world reflections. In this paper, we propose the Concurrent Reflection Removal Network (CRRN) to tackle this problem in a unified framework. Our proposed network integrates image appearance information and multi-scale gradient information with human perception inspired loss function, and is trained on a new dataset with 3250 reflection images taken under diverse real-world scenes. Extensive experiments on a public benchmark dataset show that the proposed method performs favorably against state-of-the-art methods.
研究动机与目标
- 为解决非学习方法依赖手工设计先验导致在真实反光条件下常失效的局限性。
- 克服现有深度学习方法采用两阶段设计、分别估计梯度与图像的缺陷，限制多尺度特征利用。
- 通过在大规模真实世界反光数据集上训练，提升泛化能力与细节保留能力，而非依赖合成数据。
- 通过引入感知驱动损失函数，减少基于像素损失网络常见的模糊伪影。
提出的方法
- CRRN采用统一的并发架构，包含两个子网络：用于背景估计的图像推理网络（IiN）与用于梯度预测的梯度推理网络（GiN）。
- IiN在对应分辨率下接收来自GiN的多尺度梯度特征引导，实现外观与边缘信息的联合优化。
- 多尺度引导推理模块通过融合不同尺度的特征，增强特征表示，提升细节恢复能力。
- 采用感知驱动损失函数以抑制模糊并提升视觉质量，替代或补充标准的L1/L2损失。
- 网络在新收集的真实世界数据集（3,250张反光图像）上进行训练，提升对真实世界变化的鲁棒性。
实验结果
研究问题
- RQ1能否通过并发深度学习框架联合优化图像与梯度推理，超越现有两阶段方法在去反光任务中的表现？
- RQ2与单尺度或非引导方法相比，多尺度引导特征融合在去反光中如何提升细节保留能力？
- RQ3与标准L1/L2损失相比，感知驱动损失函数在多大程度上减少模糊伪影？
- RQ4在大规模真实世界数据集上进行训练，能否显著提升模型对未见复杂反光场景的泛化能力？
主要发现
- 在SIR2基准测试中，CRRN的SSIM达到0.895，SI达到0.925，在定量与定性评估中均优于最先进方法。
- 消融实验表明，若移除GiN子网络，SSIM降至0.867，证明梯度引导在保留图像细节方面具有关键作用。
- 感知驱动损失函数显著减少模糊伪影，证据为仅使用L1损失时SSIM（0.883）低于完整CRRN（SSIM：0.895）。
- 在整体图像主导反光的极端情况下，CRRN仍能去除大部分反光，并优于所有对比方法更好地保留背景细节。
- 即使在另一型号（FY17 [7]）的未见数据上测试，CRRN仍保持强大性能，证明其泛化能力超越训练分布。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。