[论文解读] Training a Better Loss Function for Image Restoration.

Aamir Mustafa, Aliaksei Mikhailiuk+3 more|arXiv (Cornell University)|Mar 26, 2021

Advanced Image Processing Techniques被引用 5

一句话总结

本文提出了一种轻量级、单图像训练的多尺度判别性特征（MDF）损失，用于图像恢复，替代计算量大的预训练网络（如VGG或LPIPS）。通过训练判别器以识别特定恢复方法引入的失真，MDF损失在超分辨率、去噪和JPEG伪影去除任务中实现了最先进性能，同时显著降低复杂度且无需外部预训练。

ABSTRACT

Central to the application of neural networks in image restoration problems, such as single image super resolution, is the choice of a loss function that encourages natural and perceptually pleasing results. A popular choice for a loss function is a pre-trained network, such as VGG and LPIPS, which is used as a feature extractor for computing the difference between restored and reference images. However, such an approach has multiple drawbacks: it is computationally expensive, requires regularization and hyper-parameter tuning, and involves a large network trained on an unrelated task. In this work, we explore the question of what makes a good loss function for an image restoration task. First, we observe that a single natural image is sufficient to train a lightweight feature extractor that outperforms state-of-the-art loss functions in single image super resolution, denoising, and JPEG artefact removal. We propose a novel Multi-Scale Discriminative Feature (MDF) loss comprising a series of discriminators, trained to penalize errors introduced by a generator. Second, we show that an effective loss function does not have to be a good predictor of perceived image quality, but instead needs to be specialized in identifying the distortions for a given restoration method.

研究动机与目标

• 为解决在图像恢复中使用VGG和LPIPS等预训练网络作为损失函数的局限性，这些方法计算成本高且需要超参数调优。
• 探究轻量级、任务特定的特征提取器是否能在图像恢复任务中超越通用感知损失。
• 开发一种专门用于检测特定恢复方法引入失真的损失函数，而非预测一般图像质量。
• 通过直接从单张自然图像训练极简网络，减少对大型无关预训练模型的依赖。

提出的方法

• 提出一种由多个判别器组成的多尺度判别性特征（MDF）损失，这些判别器在不同尺度上训练以区分真实图像与恢复后的图像。
• 采用类似GAN的损失目标，端到端联合训练判别器与生成器，重点惩罚与特定恢复任务相关的失真。
• 使用单张自然图像监督轻量级特征提取器的训练，无需大规模数据集或在无关任务上的预训练。
• 采用多尺度结构以捕捉局部与全局失真，提升对结构和纹理伪影的敏感度。
• 使用标准反向传播优化损失，并将MDF损失集成到恢复网络的训练目标中。

实验结果

研究问题

• RQ1 在图像恢复任务中，仅用单张自然图像训练的轻量级特征提取器是否能超越VGG和LPIPS等预训练感知损失？
• RQ2 一种专注于检测任务特定失真的损失函数是否优于通用感知损失？
• RQ3 是否可能在不牺牲性能的前提下，消除图像恢复损失函数中对大型预训练网络的依赖？
• RQ4 MDF损失的多尺度设计如何在多样化任务中提升恢复质量？

主要发现

• MDF损失在单图像超分辨率、去噪和JPEG伪影去除任务中均达到最先进性能，优于基于VGG和LPIPS的损失。
• 所提出的损失函数相比预训练感知损失显著更高效，无需大规模预训练或超参数调优。
• 单张自然图像足以训练出高性能的特征提取器，证明了该方法的数据高效性。
• MDF损失无需成为感知质量的良好预测器，而是在识别与特定恢复任务相关的失真方面表现出色。