[論文レビュー] Is L2 a Good Loss Function for Neural Networks for Image Processing

Hang Zhao, Orazio Gallo+2 more|arXiv (Cornell University)|Nov 28, 2015

Image and Signal Denoising Methods被引用数 35

ひとこと要約

この論文は、画像処理におけるニューラルネットワークにおけるL2損失の広範な使用を疑問視し、人間の知覚に配慮した新しい微分可能損失関数が画像品質を顕著に向上させることを示している。同じネットワークアーキテクチャを用いても、人間の知覚に適合するより優れた誤差関数を提案することで、優れた結果が得られることを示している。

ABSTRACT

Neural networks are becoming central in several areas of computer vision and image processing. Different architectures have been proposed to solve specific problems. The impact of the loss layer of neural networks, however, has not received much attention by the research community: the default and most common choice is L2. This can be particularly limiting in the context of image processing, since L2 correlates poorly with perceived image quality. In this paper we bring attention to alternative choices. We study the performance of several losses, including perceptually-motivated losses, and propose a novel, differentiable error function. We show that the quality of the results improves significantly with better loss functions, even for the same network architecture.

研究の動機と目的

• L2損失が画像品質の知覚的相関性に乏しいことの限界を調査すること。
• ニューラルネットワークの学習に有効であるかどうかを検証するため、人間の知覚に基づいた代替損失関数を評価すること。
• 人間の視覚的知覚をよりよく反映する新しい微分可能誤差関数を提案すること。
• 損失関数の改善が、アーキテクチャの変更なしに顕著な画像品質の向上をもたらすかどうかを実証すること。

提案手法

• 著者らは、L2、人間の知覚に基づいた損失関数、および新たに提案された微分可能誤差関数を含む複数の損失関数を分析・比較した。
• 人間の視覚的知覚に適合するように、知覚的類似性に基づく新しい微分可能損失関数を設計した。
• 異なる画像処理タスクにおいて、同じニューラルネットワークアーキテクチャを用いて評価を実施した。
• 各損失関数の性能は、定量的指標と定性的な視覚的検証の両方で評価された。

実験結果

リサーチクエスチョン

• RQ1 画像処理タスクにおいて、L2損失は代替損失関数と比較して、知覚的画像品質の観点でどのように異なるか？
• RQ2 人間の視覚的知覚をよりよく反映する新しい微分可能損失関数を設計できるか？
• RQ3 ネットワークアーキテクチャを変更せずに、改善された損失関数が画像品質をどの程度向上させるか？

主な発見

• 人間の知覚に基づいた新しい損失関数を用いることで、標準的なL2損失と比較して画像品質が顕著に向上した。
• 同じネットワークアーキテクチャを用いても、より優れた損失関数が、目に明確に優れた出力を得ることを示した。
• 提案された微分可能誤差関数は、知覚的品質においてL2および他の代替手法を上回る優れた性能を示した。
• 本研究では、損失関数が最終出力品質に顕著な影響を与えることが確認されたが、これは先行研究でしばしば無視されていた。