[论文解读] Connecting Image Denoising and High-Level Vision Tasks via Deep Learning

Ding Liu, Bihan Wen+4 more|arXiv (Cornell University)|Sep 6, 2018

Image and Signal Denoising Methods参考文献 44被引用 20

一句话总结

该论文提出了一种联合深度学习框架，将图像去噪与高层视觉任务相连接，利用分类和分割网络的语义指导来提升去噪质量和任务准确性。通过使用仅反向传播至去噪器的联合损失函数对级联网络进行训练，该方法在多种噪声水平下实现了最先进的去噪性能，并提升了分类与分割任务的准确性，同时在无需微调的情况下实现了对不同高层任务的泛化能力。

ABSTRACT

Image denoising and high-level vision tasks are usually handled independently in the conventional practice of computer vision, and their connection is fragile. In this paper, we cope with the two jointly and explore the mutual influence between them with the focus on two questions, namely (1) how image denoising can help improving high-level vision tasks, and (2) how the semantic information from high-level vision tasks can be used to guide image denoising. First for image denoising we propose a convolutional neural network in which convolutions are conducted in various spatial resolutions via downsampling and upsampling operations in order to fuse and exploit contextual information on different scales. Second we propose a deep neural network solution that cascades two modules for image denoising and various high-level tasks, respectively, and use the joint loss for updating only the denoising network via back-propagation. We experimentally show that on one hand, the proposed denoiser has the generality to overcome the performance degradation of different high-level vision tasks. On the other hand, with the guidance of high-level vision information, the denoising network produces more visually appealing results. Extensive experiments demonstrate the benefit of exploiting image semantics simultaneously for image denoising and high-level vision tasks via deep learning. The code is available online: https://github.com/Ding-Liu/DeepDenoising

研究动机与目标

• 探究低层次图像去噪与高层视觉任务（如分类和语义分割）之间的相互影响。
• 解决传统去噪方法在用作高层任务预处理时会损失图像细节并引入伪影的局限性。
• 通过利用高层任务监督，开发一种保留语义感知特征的去噪器，从而同时提升视觉质量和任务性能。
• 使去噪器能够在不重新训练或微调的情况下泛化至不同高层视觉任务。

提出的方法

• 提出一种多尺度卷积神经网络用于图像去噪，通过下采样和上采样在不同空间分辨率间融合特征，受U-Net架构启发。
• 设计一种级联网络，其中去噪模块与高层视觉网络（如用于分类的VGG、用于分割的FCN）相连。
• 实施一种联合训练策略，损失函数包括图像重建损失（MSE）、感知损失（特征级）以及高层任务损失（如分类的交叉熵、分割的IoU）。
• 仅通过去噪网络反向传播梯度，保持高层网络固定，以保留任务特定特征并确保泛化能力。
• 在不同高层任务中使用相同的去噪器（例如：用分割任务进行训练，部署时用于分类），证明其跨任务可迁移性。
• 在合成高斯噪声（BSD100、DIV2K）和真实噪声（DND数据集）上验证性能，与CBM3D和DnCNN进行对比。

实验结果

研究问题

• RQ1 高层语义信息如何提升图像去噪的质量与鲁棒性？
• RQ2 在未微调的情况下，经语义引导训练的去噪器能否在不同高层视觉任务间泛化？
• RQ3 与独立处理相比，去噪与高层任务的联合训练是否能提升低层次与高层任务的性能？
• RQ4 当用作预处理时，传统去噪器（如CBM3D）对高层视觉性能有何影响？
• RQ5 通过联合损失训练的数据驱动去噪器能否泛化至超越合成高斯噪声的真实世界噪声？

主要发现

• 所提出的联合训练方法在基准数据集上实现了最先进的去噪性能，PSNR和视觉质量均优于CBM3D和DnCNN。
• 在ImageNet验证集上，σ=15时，联合训练方法的分类Top-1准确率达到60.41%，显著优于基线VGG（56.78%）和独立去噪基线（55.29%）。
• 在PASCAL VOC2012数据集上，σ=30时，联合训练方法的平均IoU达到56.30，超过独立去噪基线（54.13）和基线VGG（43.43）。
• 在跨任务设置中（即使用分割任务训练的去噪器用于分类任务），联合训练方法达到60.47%的Top-1准确率，与专为分类任务训练的模型性能相当。
• 在DND数据集的真实噪声下，所提方法比CBM3D和DnCNN更好地保留了边缘和高频细节，避免了过度平滑伪影。
• 通过联合损失训练的去噪器具有跨任务泛化能力：在未微调的情况下，从分割任务迁移到分类任务时仍保持高性能，证明了其强大的跨任务适用性。