[论文解读] Is L2 a Good Loss Function for Neural Networks for Image Processing

Hang Zhao, Orazio Gallo+2 more|arXiv (Cornell University)|Nov 28, 2015

Image and Signal Denoising Methods被引用 35

一句话总结

本文挑战了神经网络在图像处理中广泛使用L2损失的做法，证明了基于感知动机且新颖的可微分损失函数能显著提升图像质量。本文提出一种新的可微分误差函数，更符合人类感知，即使在相同网络架构下也能取得更优结果。

ABSTRACT

Neural networks are becoming central in several areas of computer vision and image processing. Different architectures have been proposed to solve specific problems. The impact of the loss layer of neural networks, however, has not received much attention by the research community: the default and most common choice is L2. This can be particularly limiting in the context of image processing, since L2 correlates poorly with perceived image quality. In this paper we bring attention to alternative choices. We study the performance of several losses, including perceptually-motivated losses, and propose a novel, differentiable error function. We show that the quality of the results improves significantly with better loss functions, even for the same network architecture.

研究动机与目标

• 调查L2损失在图像处理中的局限性，特别是其与感知图像质量的相关性较差的问题。
• 评估替代损失函数（包括基于感知动机的损失函数）在训练神经网络时的有效性。
• 提出一种新颖的、可微分的误差函数，以更好地反映人类视觉感知。
• 证明改进的损失函数可在不改变网络架构的情况下显著提升图像质量。

提出的方法

• 作者分析并比较了多种损失函数，包括L2损失、基于感知动机的损失函数以及新提出的可微分误差函数。
• 基于感知相似性设计了一种新颖的可微分损失函数，旨在更好地与人类视觉感知对齐。
• 在不同图像处理任务中，使用相同的神经网络架构进行评估。
• 通过定量指标和定性视觉检查相结合的方式评估每种损失函数的性能。

实验结果

研究问题

• RQ1 在图像处理任务中，L2损失与替代损失函数在感知图像质量方面的表现如何比较？
• RQ2 能否设计一种新颖的、可微分的损失函数，以更好地反映人类视觉感知？
• RQ3 当网络架构保持不变时，改进的损失函数在多大程度上提升了图像质量？

主要发现

• 与标准L2损失相比，使用基于感知动机和新颖的损失函数能显著提升图像质量。
• 即使在相同的网络架构下，结果也显示更好的损失函数能产生明显更优的输出。
• 所提出的可微分误差函数表现出色，在感知质量方面优于L2损失和其他替代方案。
• 本研究证实，损失函数对最终输出质量有显著影响，而这一影响在以往研究中常被忽视。