[論文レビュー] ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks

Xintao Wang, Ke Yu+7 more|arXiv (Cornell University)|Sep 1, 2018

Advanced Image Processing Techniques参考文献 40被引用数 1,093

ひとこと要約

ESRGANは、バッチ正規化なしのResidual-in-Residual Dense Blocksを導入し、相対的判別器（relativistic discriminator）、活性化前の特徴量で計算される知覚損失を組み込むことでSRGANを改善し、知覚品質を向上させ、PIRM-SR Challengeの地域3で優勝した。

ABSTRACT

The Super-Resolution Generative Adversarial Network (SRGAN) is a seminal work that is capable of generating realistic textures during single image super-resolution. However, the hallucinated details are often accompanied with unpleasant artifacts. To further enhance the visual quality, we thoroughly study three key components of SRGAN - network architecture, adversarial loss and perceptual loss, and improve each of them to derive an Enhanced SRGAN (ESRGAN). In particular, we introduce the Residual-in-Residual Dense Block (RRDB) without batch normalization as the basic network building unit. Moreover, we borrow the idea from relativistic GAN to let the discriminator predict relative realness instead of the absolute value. Finally, we improve the perceptual loss by using the features before activation, which could provide stronger supervision for brightness consistency and texture recovery. Benefiting from these improvements, the proposed ESRGAN achieves consistently better visual quality with more realistic and natural textures than SRGAN and won the first place in the PIRM2018-SR Challenge. The code is available at https://github.com/xinntao/ESRGAN .

研究の動機と目的

• PSNR指向の手法を超えた単一画像超解像(SISR)における知覚品質の改善を動機づける。
• 学習が容易でより豊かなテクスチャを生み出す深いジェネレータアーキテクチャを開発する。
• テクスチャ回復を導くより効果的な識別器と知覚損失を組み込む。

提案手法

• バッチ正規化をResidual-in-Residual Dense Blocks (RRDB)で置換し、より深いジェネレータを形成する。
• BN層を削除し、残差スケーリングを適用し、安定したGANトレーニングのために初期化を小さくする。
• Relativistic平均判別器 (RaD)を採用して相対的判断でジェネレータを訓練する。
• 活性化前の特徴を用いて知覚損失を計算し、より強力で明るさを保つ監督を提供する。
• オプションで、テクスチャに焦点を当てたMINCベースの知覚損失の変種を含める。
• 再訓練なしに知覚品質と忠実度をバランスさせるためのネットワーク補間を導入する。

実験結果

リサーチクエスチョン

• RQ1 バッチ正規化を除去しRRDBを使用することが、SRGANベースのモデルの訓練安定性と視覚品質にどう影響するか？
• RQ2 相対的判別器は、標準のGAN識別器と比較して、超解像出力のテクスチャのリアリズムとエッジのシャープさを改善するか？
• RQ3 知覚損失に前活性化特徴を用いると、後活性化特徴より明るくシャープな結果が得られ、テクスチャ回復にどう影響するか？
• RQ4 追加訓練なしで、ネットワーク補間は知覚品質とPSNR/構造忠実度を効果的にバランスできますか？
• RQ5 追加データセットと訓練戦略は、さまざまな評価体制（例: PIRM-SR）における現実感とテクスチャディテールにどのような利得をもたらすか？

主な発見

• ESRGANはSRGANや他のPSNR指向手法よりも一貫して高い知覚品質とテクスチャを示す。
• BN層を削除しRRDBを採用することで、テクスチャ回復が向上した深いジェネレータの訓練を可能にする。
• 相対平均判別器は生成テクスチャのエッジのシャープさとディテールを向上させる。
• 前活性化特徴で計算した知覚損失は、後活性化特徴よりエッジを鋭くし明るさをより正確にする。
• ネットワーク補間は再訓練なしで知覚品質と忠実度のバランスを滑らかに制御し、単純な画像補間を上回る。
• そのモデル変種はPIRM-SR Challenge region 3で最良の perceptual index を得て1位を獲得した。