[論文レビュー] Training a Better Loss Function for Image Restoration.

Aamir Mustafa, Aliaksei Mikhailiuk+3 more|arXiv (Cornell University)|Mar 26, 2021

Advanced Image Processing Techniques被引用数 5

ひとこと要約

本稿では、VGG や LPIPS のような計算コストの高い事前学習済みネットワークに代わる、軽量で単一画像から学習するマルチスケール判別的特徴（MDF）損失を提案する。MDF 損失は、特定の修復手法に起因する歪みを識別するように訓練されたディスクリミネーターを用いることで、超解像、ノイズ除去、JPEG アーチファクト除去の分野で最先端の性能を達成し、計算複雑性が低く、外部の事前学習が不要である。

ABSTRACT

Central to the application of neural networks in image restoration problems, such as single image super resolution, is the choice of a loss function that encourages natural and perceptually pleasing results. A popular choice for a loss function is a pre-trained network, such as VGG and LPIPS, which is used as a feature extractor for computing the difference between restored and reference images. However, such an approach has multiple drawbacks: it is computationally expensive, requires regularization and hyper-parameter tuning, and involves a large network trained on an unrelated task. In this work, we explore the question of what makes a good loss function for an image restoration task. First, we observe that a single natural image is sufficient to train a lightweight feature extractor that outperforms state-of-the-art loss functions in single image super resolution, denoising, and JPEG artefact removal. We propose a novel Multi-Scale Discriminative Feature (MDF) loss comprising a series of discriminators, trained to penalize errors introduced by a generator. Second, we show that an effective loss function does not have to be a good predictor of perceived image quality, but instead needs to be specialized in identifying the distortions for a given restoration method.

研究の動機と目的

• VGG や LPIPS のような事前学習済みネットワークを画像修復の損失関数として使用する際の制限、すなわち計算コストの高さとハイパーパramータのチューニングの必要性を解消すること。
• 一般向けの知覚的損失よりも、タスク固有の特徴抽出器が画像修復タスクで優れるかどうかを調査すること。
• 特定の修復手法によって生じる歪みを専門的に検出する損失関数を構築すること。一般の画像品質予測ではなく、タスク固有の歪みに焦点を当てる。
• 大規模で関係のない事前学習モデルへの依存を減らすために、単一の自然画像から直接最小限のネットワークを学習すること。

提案手法

• 複数のディスクリミネーターを組み合わせたマルチスケール判別的特徴（MDF）損失を提案。各ディスクリミネーターは、異なるスケールで本物の画像と修復済み画像を区別するように訓練される。
• 生成器と同時にエンドツーエンドで訓練する GAN フレームワークに準拠し、修復タスクに特化した歪みを罰則化する。
• 大規模なデータセットや関係のないタスクでの事前学習が不要になるように、軽量な特徴抽出器を単一の自然画像で監視して学習する。
• マルチスケールアーキテクチャを採用することで、局所的およびグローバルな歪みを捉え、構造的およびテクスチャのアーチファクトに対する感度を向上させる。
• 標準的なバックプロパゲーションを用いて損失を最適化し、MDF 損失を修復ネットワークの学習目的に統合する。

実験結果

リサーチクエスチョン

• RQ1 単一の自然画像から学習する軽量な特徴抽出器は、VGG や LPIPS のような事前学習済み知覚的損失を上回る性能を達成できるか？
• RQ2 タスク固有の歪みを検出することに特化した損失関数は、一般向けの知覚的損失よりも優れた性能を示すか？
• RQ3 大規模な事前学習済みネットワークを完全に排除しても、性能に劣らない画像修復用損失関数を構築することは可能か？
• RQ4 MDF 損失のマルチスケール設計は、多様なタスクにおいて向上した修復品質にどのように寄与しているか？

主な発見

• MDF 損失は、単一画像超解像、ノイズ除去、JPEG アーチファクト除去の分野で、VGG や LPIPS を超える最先端の性能を達成した。
• 提案された損失関数は、事前学習済み知覚的損失よりも著しく効率的であり、大規模な事前学習やハイパーパramータのチューニングが不要である。
• 単一の自然画像があれば、高性能な特徴抽出器を学習可能であり、本手法のデータ効率の高さを示している。
• MDF 損失は知覚的品質の良い予測器である必要はなく、むしろ特定の修復タスクに特化した歪みを効果的に特定する能力に優れている。