[论文解读] Loss Functions for Neural Networks for Image Processing

Hang Zhao, Orazio Gallo+2 more|arXiv (Cornell University)|Nov 28, 2015

Advanced Image Processing Techniques参考文献 26被引用 222

一句话总结

本文为图像恢复任务中的神经网络提出了一种新颖的可微分损失函数 Mix，结合了 L1 和 MS-SSIM 损失的优点。结果表明，即使在固定网络架构下，使用感知驱动的损失函数也能显著提升图像质量，优于标准的 ℓ₂ 损失；在超分辨率、JPEG 伪影去除以及联合去噪/去马赛克任务中，Mix 均优于 ℓ₂、ℓ₁、SSIM 和 MS-SSIM。

ABSTRACT

Neural networks are becoming central in several areas of computer vision and image processing and different architectures have been proposed to solve specific problems. The impact of the loss layer of neural networks, however, has not received much attention in the context of image processing: the default and virtually only choice is L2. In this paper, we bring attention to alternative choices for image restoration. In particular, we show the importance of perceptually-motivated losses when the resulting image is to be evaluated by a human observer. We compare the performance of several losses, and propose a novel, differentiable error function. We show that the quality of the results improves significantly with better loss functions, even when the network architecture is left unchanged.

研究动机与目标

• 解决图像恢复神经网络中损失函数未受足够重视的问题，尽管其在训练中起着关键作用。
• 探索替代默认 ℓ₂ 损失的方案，因为 ℓ₂ 损失与人类对图像质量的感知相关性较差。
• 评估感知驱动损失（L1、SSIM 和 MS-SSIM）对图像恢复性能的影响。
• 提出一种新颖的可微分损失函数 Mix，通过结合 L1 和 MS-SSIM 来提升感知质量与收敛性。
• 证明即使网络架构保持不变，损失函数的选择也能显著改善结果。

提出的方法

• 设计并实现 L1、SSIM 和 MS-SSIM 的可微分版本作为损失层，用于反向传播。
• 提出一种混合损失函数 Mix，定义为 L1 与 MS-SSIM 损失的加权组合，以发挥二者互补的优势。
• 在三个图像恢复任务上训练全卷积神经网络：超分辨率、JPEG 伪影去除以及联合去噪/去马赛克。
• 通过低通滤波和下采样生成合成数据，以模拟真实的退化过程，确保与物理成像过程的一致性。
• 在 Caffe 中实现所有损失层，并公开发布，以支持可复现性与社区使用。
• 使用多种图像质量度量（包括 MS-SSIM、PSNR 和 SSIM）进行广泛的定量与定性比较。

实验结果

研究问题

• RQ1 当网络架构保持不变时，损失函数的选择如何影响图像恢复结果的感知质量？
• RQ2 感知驱动损失（如 SSIM 和 MS-SSIM）在图像恢复任务中在多大程度上优于标准的 ℓ₂ 损失？
• RQ3 为何 SSIM 和 MS-SSIM 损失单独使用时无法产生最优结果，尽管它们具有感知相关性？
• RQ4 结合 L1 和 MS-SSIM 的混合损失是否能在指标表现与视觉质量两方面均优于单一损失？
• RQ5 收敛特性与局部极小值在不同损失函数之间观察到的性能差异中起何种作用？

主要发现

• 在超分辨率任务中，Mix 损失函数（结合 L1 与 MS-SSIM）在 MS-SSIM 指标上达到 0.9829 的最高分，优于 ℓ₂（0.9748）、ℓ₁（0.9744）、SSIM（0.9752）和 MS-SSIM（0.9752），且在不同高斯滤波标准差下均表现优异。
• 使用 ℓ₂ 损失训练的网络在平坦区域产生明显的斑驳伪影，而使用 Mix 损失的网络则表现出更平滑、更自然的结果，甚至在视觉质量上超越 ℓ₁。
• 所有损失函数在高斯滤波标准差从 3 像素变化到 5 像素时的性能退化趋势一致，表明损失函数的相对排名对退化模型变化具有鲁棒性。
• ℓ₂ 损失表现欠佳部分归因于收敛问题与局部极小值，表明即使对 ℓ₂ 模型重新训练，采用更优损失函数也能提升性能。
• 所提出的 Mix 损失在联合去噪与去马赛克任务中优于 CFA-BM3D（一种最先进的去噪算法），证明了其实际优越性。
• SSIM 和 MS-SSIM 单独使用无法达到最优结果，原因在于其对均匀偏置敏感且对某些图像结构响应有限，而混合损失 Mix 有效缓解了这些问题。