[論文レビュー] Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network

Christian Ledig, Lucas Theis+9 more|arXiv (Cornell University)|Sep 15, 2016

Advanced Image Processing Techniques参考文献 64被引用数 1,036

ひとこと要約

本論文は、4倍拡大におけるフォトリアリスティックな単一画像スーパーサンプリングを実現するための生成的敵対ネットワーク、SRGANを提案する。VGG特徴に基づく知覚的損失と、識別器からの敵対的損失を組み合わせることで、SRGANは本物の高解像度画像と区別がつかないテクスチャを生成し、PSNR最適化手法と比較して知覚的品質が著しく優れていることが、平均意見スコア（MOS）テストで裏付けられている。

ABSTRACT

Despite the breakthroughs in accuracy and speed of single image super-resolution using faster and deeper convolutional neural networks, one central problem remains largely unsolved: how do we recover the finer texture details when we super-resolve at large upscaling factors? The behavior of optimization-based super-resolution methods is principally driven by the choice of the objective function. Recent work has largely focused on minimizing the mean squared reconstruction error. The resulting estimates have high peak signal-to-noise ratios, but they are often lacking high-frequency details and are perceptually unsatisfying in the sense that they fail to match the fidelity expected at the higher resolution. In this paper, we present SRGAN, a generative adversarial network (GAN) for image super-resolution (SR). To our knowledge, it is the first framework capable of inferring photo-realistic natural images for 4x upscaling factors. To achieve this, we propose a perceptual loss function which consists of an adversarial loss and a content loss. The adversarial loss pushes our solution to the natural image manifold using a discriminator network that is trained to differentiate between the super-resolved images and original photo-realistic images. In addition, we use a content loss motivated by perceptual similarity instead of similarity in pixel space. Our deep residual network is able to recover photo-realistic textures from heavily downsampled images on public benchmarks. An extensive mean-opinion-score (MOS) test shows hugely significant gains in perceptual quality using SRGAN. The MOS scores obtained with SRGAN are closer to those of the original high-resolution images than to those obtained with any state-of-the-art method.

研究の動機と目的

• 高倍率拡大における細かいテクスチャディティールの回復に限界を示す既存のスーパーサンプリング手法の課題を解決すること。
• ピクセルレベルの正確さを重視するが人間の視覚的忠実度を損なう平均二乗誤差（MSE）損失の知覚的欠陥を克服すること。
• スーパーレゾリューション出力を自然画像多様体と一致させることで、フォトリアリスティックな画像を生成するディープラーニングフレームワークを開発すること。
• 人間の評価による知覚的品質が、従来のPSNR/SSIM指標をはるかに上回ることを実証すること。

提案手法

• 高レベルのVGG特徴マップに基づくコンテンツ損失と、識別器ネットワークからの敵対的損失を組み合わせた新しい知覚的損失関数を提案する。
• スキップ接続を用いて訓練の安定化と特徴伝搬の向上を図る、深層残差ネットワーク（SRResNet）を生成器として訓練する。
• 実際の高解像度画像と生成器からのスーパーサンプリング出力を区別するための識別器ネットワークを訓練する。
• 生成器を、構造的内容を保持するための知覚的損失（VGGベース）と、テクスチャのリアリズムを向上させるための敵対的損失を組み合わせた損失関数で最適化する。
• 特に高周波数ディティールの合成に有効な、より深いネットワークの訓練を安定化させるための段階的訓練戦略を採用する。
• ピクセルレベルの違いではなく、高レベルの意味的特徴に焦点を当てるために、VGGネットワークの深い層（例：relu5_4）をコンテンツ損失に使用する。

実験結果

リサーチクエスチョン

• RQ1 真の高解像度画像が入手不可であっても、生成的敵対ネットワークが4倍拡大におけるフォトリアリスティックなスーパーサンプリード画像を生成できるか？
• RQ2 MSE損失の代わりにVGG特徴に基づく知覚的損失を採用することで、スーパーサンプリード画像のリアリズムと知覚的品質が向上するか？
• RQ3 敵対的識別器が人間の知覚において本物の高解像度画像と区別がつかない出力を生成器が生成するのを効果的にガイドできるか？
• RQ4 PSNRとSSIMは、スーパーサンプリング品質を評価するにあたり、人間の知覚とどの程度相関していないか？
• RQ5 コンテンツ損失に使用するVGG層の選択が、最終的なスーパーサンプリード画像の知覚的品質にどの程度影響を与えるか？

主な発見

• SRGANはBSD100データセットで平均意見スコア（MOS）4.46を達成し、すべての参照手法を著しく上回り、オリジナルの高解像度画像（MOS 4.46）に近い水準に到達した（4.46 vs. 4.46）。
• Set14ベンチマークではMOSが3.72を記録し、次に優れた手法（SRResNet）を0.76ポイント上回った。MOSの差はすべて非常に有意であった。
• BSD100ではPSNRが27.58 dB、SSIMが0.7620を達成し、SRResNet（27.58 dB PSNR、0.7620 SSIM）を上回ったが、主な利点はPSNRではなく知覚的品質にあった。
• 敵対的損失によりテクスチャのリアリズムが著しく向上した：視覚的比較では、SRGANはMSE最適化モデルに欠けているシャープで詳細なテクスチャを生成した。
• コンテンツ損失層としてVGG54（relu5_4）を使用した場合が最も知覚的に説得力があり、浅い層（例：VGG22）を用いた場合を上回った。
• より深いネットワーク（B > 16）は性能をさらに向上させたが、訓練の不安定化と高周波数アーチファクトを引き起こしたため、深さと訓練安定性のトレードオフが生じた。