[論文レビュー] A-ESRGAN: Training Real-World Blind Super-Resolution with Attention U-Net Discriminators

Zihao Wei, Yidong Huang+3 more|arXiv (Cornell University)|Dec 19, 2021

Advanced Image Processing Techniques被引用数 9

ひとこと要約

本稿では、多スケールアテンションU-Net判別器を導入することで、知覚的品質と構造的忠実度を向上させるGANベースのブラインド画像超解像モデル、A-ESRGANを提案する。アテンション機構と多スケール特徴抽出を判別器に統合することで、従来のGANベース手法と比較して、NIQEで最先端の性能を達成し、エッジ保持とテクスチャ再構築が優れており、よりシャープで現実的である高解像度画像を生成する。

ABSTRACT

Blind image super-resolution(SR) is a long-standing task in CV that aims to restore low-resolution images suffering from unknown and complex distortions. Recent work has largely focused on adopting more complicated degradation models to emulate real-world degradations. The resulting models have made breakthroughs in perceptual loss and yield perceptually convincing results. However, the limitation brought by current generative adversarial network structures is still significant: treating pixels equally leads to the ignorance of the image's structural features, and results in performance drawbacks such as twisted lines and background over-sharpening or blurring. In this paper, we present A-ESRGAN, a GAN model for blind SR tasks featuring an attention U-Net based, multi-scale discriminator that can be seamlessly integrated with other generators. To our knowledge, this is the first work to introduce attention U-Net structure as the discriminator of GAN to solve blind SR problems. And the paper also gives an interpretation for the mechanism behind multi-scale attention U-Net that brings performance breakthrough to the model. Through comparison experiments with prior works, our model presents state-of-the-art level performance on the non-reference natural image quality evaluator metric. And our ablation studies have shown that with our discriminator, the RRDB based generator can leverage the structural features of an image in multiple scales, and consequently yields more perceptually realistic high-resolution images compared to prior works.

研究の動機と目的

• 判別器における均一な画素処理が原因で、従来のGANベースのブラインド超解像モデルが過度に滑らかになったり歪みが生じたりするという限界を是正すること。
• 判別器アーキテクチャにアテンション機構を組み込むことで、超解像画像の知覚的リアリズムと構造的忠実度を向上させること。
• 多スケール特徴抽出が、リアルなテクスチャやエッジを識別する能力を向上させる役割を果たすかを調査すること。
• 既存の生成器（例：RRDB）と統合可能なモジュラで、即挿し可能な判別器設計を提供すること。

提案手法

• U-Netのスキップ接続と自己アテンション機構を組み合わせた、新規の多スケールアテンションU-Net判別器を提案し、特徴表現を強化する。
• 同じ構造のアテンションU-Net判別器を2つ採用し、異なる画像スケールで動作させる：1つは元解像度、もう1つはダウンサンプリングされたバージョンで、粗い特徴と細かい特徴を捉える。
• RRDBベースの生成器とアテンションU-Net判別器を統合し、A-ESRGANモデルを構築。敵対的損失を用いたエンドツーエンド学習を可能にする。
• 生成器が知覚的にリアルで構造的に正確な高解像度画像を生成するように、知覚的損失と敵対的損失を併用して学習を実施する。
• アテンションマップを用いて、訓練中に判別器がエッジや高周波数成分にどのように動的に注目しているかを可視化する。
• アテンション機構と多スケール設計の貢献度を分離するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 標準的なGAN判別器と比較して、判別器にアテンションU-Netアーキテクチャを統合することで、ブラインド超解像性能がどのように向上するか？
• RQ2 多スケール特徴抽出は、リアルなテクスチャやエッジを検出する能力を向上させる上で、どのような役割を果たすか？
• RQ3 訓練中にアテンション重みはどのように変化するか？ これにより、判別器が構造的特徴と背景特徴のどちらに注目しているかの挙動がどのように明らかになるか？
• RQ4 提案された判別器は、NIQEという指標で、最先端のベースラインと比較して、どれほど知覚的品質を向上させるか？

主な発見

• A-ESRGANモデルは、全テストデータセットでNIQE指標において最先端の性能を達成し、Real-ESRGANや他のSOTAモデルを上回った。
• アテンションU-Net判別器は、エッジ保持を著しく向上させ、歪みを低減した。視覚的比較により、明確な線とぼかしが少ないことが確認された。
• 多スケール判別器設計により、木の枝や織物のパターンなど複雑な領域におけるテクスチャ再構築が、単一スケールの対比モデルよりも優れていた。
• アブレーションスタディの結果、アテンションU-Net判別器は過度な滑らかさを低減し、特に微細構造における高周波数成分の回復を強化することが確認された。
• アテンションマップの可視化により、訓練の進行に従い、均一な画素重みからエッジや微細な詳細に集中する注目へと変化する様子が明らかになった。
• 判別器の二重スケール動作により、グローバルな整合性とローカルなテクスチャ忠実度を同時に最適化でき、より現実的な画像生成が実現した。