[論文レビュー] Unsupervised Degradation Learning for Single Image Super-Resolution

Tianyu Zhao, Wenqi Ren+3 more|arXiv (Cornell University)|Dec 11, 2018

Advanced Image Processing Techniques参考文献 29被引用数 31

ひとこと要約

本稿では、教師ありの合成LR-HRデータを必要とせずに、劣化ネットワークリンと再構成ネットワークリンを同時に学習する、単一画像超解像（SISR）のための非教師付き劣化学習フレームワークを提案する。バイサイクル整合性損失と生成的敵対ネットワークリング（GAN）を用いることで、実際の高解像度入力から現実的な低解像度画像を生成し、実際の低解像度入力から高解像度画像を再構成する。実世界の画像において最先端の性能を達成し、エッジの鋭さとノイズ耐性が向上している。

ABSTRACT

Deep Convolution Neural Networks (CNN) have achieved significant performance on single image super-resolution (SR) recently. However, existing CNN-based methods use artificially synthetic low-resolution (LR) and high-resolution (HR) image pairs to train networks, which cannot handle real-world cases since the degradation from HR to LR is much more complex than manually designed. To solve this problem, we propose a real-world LR images guided bi-cycle network for single image super-resolution, in which the bidirectional structural consistency is exploited to train both the degradation and SR reconstruction networks in an unsupervised way. Specifically, we propose a degradation network to model the real-world degradation process from HR to LR via generative adversarial networks, and these generated realistic LR images paired with real-world HR images are exploited for training the SR reconstruction network, forming the first cycle. Then in the second reverse cycle, consistency of real-world LR images are exploited to further stabilize the training of SR reconstruction and degradation networks. Extensive experiments on both synthetic and real-world images demonstrate that the proposed algorithm performs favorably against state-of-the-art single image SR methods.

研究の動機と目的

• 訓練時に使用される合成LR画像とテスト時の実世界LR画像との間のドメインギャップを解消すること。これにより、従来のSISR手法の一般化性能が制限されている。
• 合成LR-HR画像のペアデータセットを必要とせず、実際のHR画像から直接劣化パターンを学習すること。
• 単純なダウンサンプリングでは捉えきれないような、ノイズやぼかしなどの複雑な実世界の劣化要因に対する耐性を高めること。
• 劣化ネットワークリンと再構成ネットワークリンの間の構造的整合性を保証するバイサイクル整合性損失により、学習を安定化させること。

提案手法

• 教師ありの双三次または最近傍補間によるダウンサンプリングに依存せず、生成的敵対ネットワークリング（GAN）に基づく劣化ネットワークリンを導入し、高解像度入力から現実的な低解像度画像を合成する。
• バイサイクル構造を採用：一方のサイクルでは、劣化ネットワークリンを介してHRからLRを生成し、そのLRから再びHRを再構成する。もう一方のサイクルでは、実際のLRからHRを再構成し、再び劣化させて整合性を保つ。
• 劣化ネットワークリンの学習時に、生成されたLR画像とその対応するHR画像の間の構造的類似性を保つために、構造的感知損失を用いる。
• 生成されたLR画像の現実性を向上させるために、劣化識別器を介した敵対的損失を適用する。
• 再構成されたHR画像が、劣化処理を経て元のHR画像と整合的であることを保証するため、サイクル整合性損失を用いて学習を安定化させる。
• 生成された現実的なLR画像と実世界のLR画像の両方を用いて再構成ネットワークリンを学習し、実際の劣化に非教師的に適応可能にする。

実験結果

リサーチクエスチョン

• RQ1 教師ありの合成LR-HRペアデータが存在しない状況でも、深層学習モデルが実際の高解像度画像から現実的な劣化パターンを学習できるか？
• RQ2 劣化ネットワークリンと再構成ネットワークリンの間のサイクル整合性は、実世界の超解像性能をどのように向上させるか？
• RQ3 教師なしの劣化学習は、合成データで学習された手法と比較して、実世界のLR画像に対する一般化性能を向上させるか？
• RQ4 本手法は、実世界の画像におけるノイズやぼかしの程度の変動に対してどれほど耐性を示すか？

主な発見

• 提案手法のDNSRは、実世界の画像において最先端の性能を達成し、SRMD、DBPN、ESRGANなどの手法を定量的指標および視覚的品質の両面で上回っている。特にエッジの鋭さと微細なテクスチャの回復において顕著な優位性を示している。
• アブレーションスタディの結果、劣化識別器やサイクル整合性損失を削除すると性能が著しく低下することが示され、両者の存在が安定的かつ現実的な学習を実現するために不可欠であることが裏付けられた。
• ガウスノイズに対して優れた耐性を示し、ノイズレベルが7%に達するまで高い性能を維持している。一方、ESRGANは同様の条件下で著しく性能が低下した。
• 推論速度も競争力があり、PyTorchを用いてDIV2Kデータセットで1枚あたり0.645秒の実行時間を達成しており、他のSOTA手法と同等の速度である。
• 実画像（例：'0879' と '0882'）における視覚的結果から、ペアデータなしでも、ベースライン手法と比較してエッジがより鋭く、色の再現性がより現実的であることが確認された。