[論文レビュー] NTIRE 2020 Challenge on Real-World Image Super-Resolution: Methods and Results

Andreas Lugmayr, Martin Danelljan+44 more|arXiv (Cornell University)|May 5, 2020

Advanced Image Processing Techniques参考文献 78被引用数 23

ひとこと要約

本論文は、教師付きデータが存在しない状況下で低品質な画像を向上させるためのNTIRE 2020チャレンジである実世界画像超解像について、22チームの手法を評価するものである。2つのトラックを導入している：1つ目は参照ベースの評価を可能にするために合成的に劣化させた画像を用いるもので、2つ目は実際のスマートフォン画像を用い、性能は人間の知覚に基づいて評価される。これにより、教師なしおよび弱教師付き超解像技術の発展が促進される。

ABSTRACT

This paper reviews the NTIRE 2020 challenge on real world super-resolution. It focuses on the participating methods and final results. The challenge addresses the real world setting, where paired true high and low-resolution images are unavailable. For training, only one set of source input images is therefore provided along with a set of unpaired high-quality target images. In Track 1: Image Processing artifacts, the aim is to super-resolve images with synthetically generated image processing artifacts. This allows for quantitative benchmarking of the approaches \wrt a ground-truth image. In Track 2: Smartphone Images, real low-quality smart phone images have to be super-resolved. In both tracks, the ultimate goal is to achieve the best perceptual quality, evaluated using a human study. This is the second challenge on the subject, following AIM 2019, targeting to advance the state-of-the-art in super-resolution. To measure the performance we use the benchmark protocol from AIM 2019. In total 22 teams competed in the final testing phase, demonstrating new and innovative solutions to the problem.

研究の動機と目的

• トレーニング時にペaired高解像度および低解像度画像が利用できない実世界の画像超解像の課題に対処すること。
• 実世界の画像劣化に一般化するための弱教師付きおよび教師なし学習の研究を促進すること。
• ペアでないデータに対する超解像モデルの評価のためのベンチマークプロトコルおよびデータセットを確立し、従来の指標よりも知覚的品質に重点を置くこと。
• 合成アーティファクトおよび実際のスマートフォン画像の両方に対してテストすることで、実世界超解像分野における最先端技術を前進させること。
• 主に知覚的品質を重視するため、人間の研究を通じてモデルの性能を評価し、PSNR や SSIM などの数値指標よりも優先すること。

提案手法

• 清浄な画像に低エンドデバイスの画像処理アーティファクトを模倣する非公開で複雑な劣化演算子を適用し、トラック1で参照ベースの評価を可能にする。
• トラック1のすべてのトレーニング、検証、テスト画像に同一の劣化プロセスを適用し、一貫性を保ち、実世界の画像形成を模倣する。
• トラック2では、高品質な真値が得られない実際の低品質なiPhone画像を用い、参照なしで知覚的に魅力的な結果を生成する必要がある。
• ペアでの監視を一切行わず、ソース画像と別個の高品質なターゲット画像のペアでモデルを訓練する。
• 生成的敵対ネットワーク（GANs）、ドメイン適応、周波数分離技術を用いて、テクスチャーや詳細を強化しながらも現実性を保つ。
• 最終評価には人間の研究を用いる。主な目的は知覚的品質であるため、PSNR や SSIM などの数値指標ではなく人間の評価を重視する。

実験結果

リサーチクエスチョン

• RQ1 トレーニング時にペアの高解像度画像が利用できない状況下で、深層学習モデルは実世界の画像に対してどれほど効果的に超解像を実行できるか？
• RQ2 教師付きデータが存在しない状況下で、GANベースおよび自己教師付き手法は、従来のPSNR最適化モデルと比較して知覚的品質をどの程度向上させるか？
• RQ3 ドメイン適応およびサイクル整合性のある訓練は、実世界の超解像において低品質入力と高品質出力のギャップを効果的に埋め合わせることができるか？
• RQ4 周波数ドメイン分離およびノイズ注入技術は、ペアでない超解像において、現実的なテクスチャーや細部を回復させるためにどの程度有効か？
• RQ5 真値が利用できない状況下で、さまざまなアーキテクチャ（例：残差ネットワーク、アテンションモジュール、敵対的訓練）の相対的な性能はどのようになるか？

主な発見

• トラック1で上位にランクされた手法は、合成劣化ベンチマークで高いPSNRおよびSSIMスコアを達成し、既知のアーティファクトへの強い一般化能力を示した。
• 真値が存在しないトラック2では、人間による評価が知覚的品質に基づいて行われ、複数のチームが高水準の人間の好みスコアを達成した。
• 敵対的訓練および周波数ドメイン分離を用いたモデルは、PSNRが最適でない場合でも優れた知覚的品質を示した。
• ドメイン適応およびサイクル整合性GANは、実際のスマートフォン画像において分布のずれを補正することで、性能を顕著に向上させた。
• このチャレンジにより、知覚的品質とPSNRの間には相関が必ずしも存在しないことが明らかになり、実世界のSRにおいて人間の評価の重要性が強調された。
• 複数のチームが、事前の知識なしに複雑で未知の劣化演算子を逆方向に学習するのに成功し、ペアでない状況下での強力な一般化能力を示した。