[論文レビュー] Unsupervised Image Super-Resolution using Cycle-in-Cycle Generative Adversarial Networks

Yuan Yuan, Siyuan Liu+4 more|arXiv (Cornell University)|Sep 3, 2018

Advanced Image Processing Techniques参考文献 27被引用数 40

ひとこと要約

CinCGANを紹介する。Cycle-in-Cycle GANフレームワークはLR-HRペアと劣化カーネルが利用できない場合の教師なし単一画像超解像に適用され、教師あり法と競争力のある結果を達成する。

ABSTRACT

We consider the single image super-resolution problem in a more general case that the low-/high-resolution pairs and the down-sampling process are unavailable. Different from traditional super-resolution formulation, the low-resolution input is further degraded by noises and blurring. This complicated setting makes supervised learning and accurate kernel estimation impossible. To solve this problem, we resort to unsupervised learning without paired data, inspired by the recent successful image-to-image translation applications. With generative adversarial networks (GAN) as the basic component, we propose a Cycle-in-Cycle network structure to tackle the problem within three steps. First, the noisy and blurry input is mapped to a noise-free low-resolution space. Then the intermediate image is up-sampled with a pre-trained deep model. Finally, we fine-tune the two modules in an end-to-end manner to get the high-resolution output. Experiments on NTIRE2018 datasets demonstrate that the proposed unsupervised method achieves comparable results as the state-of-the-art supervised models.

研究の動機と目的

• SRタスクにおける対となるLR-HRデータの欠如と未知の劣化に対処する。
• 画像到画像変換に着想を得た教師なし訓練戦略を提案する。
• アップサンプリング前にLRでノイズ除去・デブラーを行うCycle-in-Cycleアーキテクチャを開発する。
• 高品質なSRのために、LRからHRへのパイプラインをエンドツーエンドで微調整する。

提案手法

• 対になるデータなしで、LRをクリーンなLRへ、さらにHRへと写像する2つの結合したCycleGANを用いる。
• 最初のCycleGAN（LRからクリーンLRへ）は、サイクル、アイデンティティ、およびTV損失を用いたノイズ除去/ブラー除去を含む。
• LR-to-clean-LRモジュールの後に事前学習済みSRモデル（EDSR）を積み上げてアップサンプリングを行う。
• 敵対的損失とサイクル整合性損失でLR-to-clean-LRとLR-to-HR経路を結合してファインチューニングする。
• HR段階にはPatchGAN識別器を採用し、SR同一性損失を導入してSR品質を安定化させる。
• 教師なし損失で訓練し、その後NTIRE2018トラック2データでエンドツーエンドのファインチューニングを行う。

実験結果

リサーチクエスチョン

• RQ1 対となるデータなしでもCycle-in-Cycle GANを用いた教師なし学習が競争力のあるSR性能を達成できるか？
• RQ2 Upsamplingの前にLRでのノイズ除去/デブラーを分解することで、単一段階の教師なしSRより安定性と品質が向上するか？
• RQ3 CinCGANは実データ劣化データセットで教師ありSRモデルやノイズ除去→SRパイプラインと比較してどうか？

主な発見

• CinCGANはNTIRE2018トラック2データで最先端の教師ありモデルと競合するPSNR/SSIMを達成する。
• 平均してCinCGANはPSNR/SSIMが24.33/0.69となり、SRGAN+（24.33/0.68）と同等だが、PSNRではEDSR+（25.77/0.71）には及ばない。
• 対データなしで教師ありSRモデルを直接適用すると未知の劣化下で結果が劣るが、CinCGANはLR-to-clean-LRのノイズ除去を教師なしで実現することでこれを緩和する。
• アブレーション研究は、成分を削除したりサイクル制約を外すとSR結果がノイズが多く不安定になることを示し、CinCGAN構造の有効性を裏付ける。
• BM3D+EDSRはまずノイズを除去するが、CinCGANより効果が劣る。共同の教師なしノイズ除去とアップサンプリングが有益であることを示す。