[論文レビュー] Unsupervised Real-world Image Super Resolution via Domain-distance Aware Training

Yunxuan Wei, Shuhang Gu+2 more|arXiv (Cornell University)|Apr 2, 2020

Advanced Image Processing Techniques参考文献 62被引用数 17

ひとこと要約

本稿では、ドメインギャップに配慮した超解像（DASR）を提案する。これは、合成低解像度（LR）画像と実世界のLR画像の間のドメインギャップを、ドメインギャップに配慮したトレーニングとドメイン距離重み付き監視によって軽減する、新しい教師なし現実世界画像超解像手法である。実際のLR画像と生成された疑似ペアの両方を活用することで、実世界のデータセットにおいて、より現実的なテクスチャと優れた知覚的品質を実現し、最先端の性能を達成する。

ABSTRACT

These days, unsupervised super-resolution (SR) has been soaring due to its practical and promising potential in real scenarios. The philosophy of off-the-shelf approaches lies in the augmentation of unpaired data, i.e. first generating synthetic low-resolution (LR) images $\mathcal{Y}^g$ corresponding to real-world high-resolution (HR) images $\mathcal{X}^r$ in the real-world LR domain $\mathcal{Y}^r$, and then utilizing the pseudo pairs $\{\mathcal{Y}^g, \mathcal{X}^r\}$ for training in a supervised manner. Unfortunately, since image translation itself is an extremely challenging task, the SR performance of these approaches are severely limited by the domain gap between generated synthetic LR images and real LR images. In this paper, we propose a novel domain-distance aware super-resolution (DASR) approach for unsupervised real-world image SR. The domain gap between training data (e.g. $\mathcal{Y}^g$) and testing data (e.g. $\mathcal{Y}^r$) is addressed with our extbf{domain-gap aware training} and extbf{domain-distance weighted supervision} strategies. Domain-gap aware training takes additional benefit from real data in the target domain while domain-distance weighted supervision brings forward the more rational use of labeled source domain data. The proposed method is validated on synthetic and real datasets and the experimental results show that DASR consistently outperforms state-of-the-art unsupervised SR approaches in generating SR outputs with more realistic and natural textures.

研究の動機と目的

• 教師なし超解像における合成低解像度（LR）画像と実世界のLR画像の間のドメインギャップを解消すること。
• ペairedデータが存在しない状況でも、実世界の画像における一般化性能と知覚的品質を向上させること。
• ドメイン適応フレームワーク内で、実際のLR画像と生成された疑似ペアを効果的に活用するトレーニング戦略を開発すること。
• 合成LRデータと実LRデータの分布的差異をモデル化することで、アーティファクトを低減し、超解像出力のテクスチャの現実性を向上させること。

提案手法

• 生成されたLR分布を実際の分布と一致させるために、実際のLR画像を adversarial トレーニングループに組み込むドメインギャップに配慮したトレーニングを提案する。
• 合成LR画像と実LR画像の間のドメイン距離に基づいて、損失を動的に再重みづけるドメイン距離重み付き監視を導入する。
• 劣化ネットワークを用いて、実際のHR画像から合成LR画像を生成し、監視学習用の疑似ペアを構築する。
• ドメイン差違を測定し、合成LRデータと実LRデータの分布シフトを最小化する方向にトレーニングを誘導するため、識別器を用いる。
• 実際のLR画像に対する adversarial 損失と、合成データに対する知覚的損失／重み付き損失を組み合わせて、SRネットワークをトレーニングする。
• ドメイン距離が大きいサンプルを優先するようにトレーニング目的関数を適応させ、モデルのロバストネスと一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 教師なし超解像において、合成LR画像と実世界のLR画像の間のドメインギャップを効果的に低減する方法は何か？
• RQ2 トレーニング中に実際のLR画像を組み込むことで、実世界データに対する教師なしSRモデルの一般化性能が向上するか？
• RQ3 ドメイン距離重み付き監視は、合成データの有効活用と知覚的品質の向上に寄与するか？
• RQ4 提案手法は、実世界ベンチマークにおいて、最先端の教師なしSRアプローチと比較してどのように差をつけるか？

主な発見

• RealSRデータセットにおいて、DASRはPSNR 26.782、LPIPS 0.228を達成し、FSSRや他の教師なし手法を顕著に上回る最先端の性能を発揮した。
• CameraSRデータセットでは、DASRはPSNR 25.769、LPIPS 0.151を達成し、FSSR や ZSSR と比較して優れた一般化性能と知覚的品質を示した。
• ユーザーの好み評価では、DASRはAIMチャレンジデータセットでMOSスコア2.60を獲得し、FSSR（3.14）や他の教師なしベースラインを上回った。
• 視覚的結果では、エッジや繊細なディテールなどの複雑な領域において、FSSR や ZSSR と比較してDASRがよりシャープなテクスチャと少ないアーティファクトを生成した。
• ドメインギャップに配慮したトレーニング戦略により、識別器を用いたドメインシフト分析から、合成LR画像と実LR画像の分布的差違が効果的に低減されていることが確認された。
• ドメイン距離重み付き監視により、トレーニング中により困難な高ドメイン距離サンプルに注目することで、モデルの一般化能力が向上した。