[論文レビュー] EnhanceNet: Single Image Super-Resolution Through Automated Texture Synthesis

Mehdi S. M. Sajjadi, Bernhard Schölkopf+1 more|arXiv (Cornell University)|Dec 23, 2016

Advanced Image Processing Techniques被引用数 5

ひとこと要約

本論文では、敵対的学習と知覚的損失、自動テクスチャ生成を組み合わせた深層学習フレームワーク、EnhanceNetを提案する。この手法により、明確で現実的な高周波数テクスチャを有する高精細画像を生成する。完全畳み込みニューラルネットワークを敵対的学習設定下で、テクスチャ統計に焦点を当てた知覚的損失を用いて訓練することで、定量的指標（PSNR、SSIM）および知覚的品質の両面で最先端の結果を達成した。PSNR最適化モデルに比べてわずかに低いPSNR値を示すが、視覚的リアリズムにおいて優れている。

ABSTRACT

Single image super-resolution is the task of inferring a high-resolution image from a single low-resolution input. Traditionally, the performance of algorithms for this task is measured using pixel-wise reconstruction measures such as peak signal-to-noise ratio (PSNR) which have been shown to correlate poorly with the human perception of image quality. As a result, algorithms minimizing these metrics tend to produce over-smoothed images that lack high-frequency textures and do not look natural despite yielding high PSNR values. We propose a novel application of automated texture synthesis in combination with a perceptual loss focusing on creating realistic textures rather than optimizing for a pixel-accurate reproduction of ground truth images during training. By using feed-forward fully convolutional neural networks in an adversarial training setting, we achieve a significant boost in image quality at high magnification ratios. Extensive experiments on a number of datasets show the effectiveness of our approach, yielding state-of-the-art results in both quantitative and qualitative benchmarks.

研究の動機と目的

• PSNRベースのスーパーサンプリング手法が平均回帰に起因して過度に滑らかで不自然な画像を生成するという限界を解消する。
• ピxls単位の再構成精度ではなく、現実的なテクスチャ生成に注目することで、知覚的画像品質を向上させる。
• 高速な推論を可能にしながら高周波数ディテールを保持する、フィードフォワード型で完全畳み込みネットワークアーキテクチャを開発する。
• 敵対的学習と知覚的損失、およびテクスチャ統計の一致を組み合わせることで、PSNR最適化モデルに比べてよりシャープで自然な結果が得られることを示す。
• PSNRだけでなく知覚的指標と人間評価においても、特に高倍率比において最先端のパフォーマンスを達成する。

提案手法

• エンドツーエンドでフィードフォワード型スーパーサンプリング推論が可能な完全畳み込みニューラルネットワーク（FCN）アーキテクチャを採用する。
• 判別器ネットワークを用いた敵対的学習設定を導入し、実際のHR画像と生成されたHR出力を区別させることで、リアリズムを促進する。
• 事前学習済みVGGネットワークの特徴量に基づく知覚的損失を採用し、生成画像を高次特徴空間における実画像統計と一致させる。
• 局所的テクスチャパターン（例：エッジ、テクスチャ）を実画像から再現するよう促進する、テクスチャ統計一致損失を組み込む。
• 敵対的損失、知覚的損失、テクスチャ統計損失を組み合わせたマルチコンポonent損失を生成器の訓練に用い、リアリズムと忠実度のバランスを取る。
• 2段階の訓練戦略を採用：まずMSE損失で生成器を事前学習し、その後、知覚的および敵対的目的で微調整する。

実験結果

リサーチクエスチョン

• RQ1 敵対的学習に加え、知覚的損失およびテクスチャ統計損失を組み合わせることで、PSNR最適化モデルに比べて、スーパーサンプリード画像の知覚的品質が著しく向上するか？
• RQ2 局所的テクスチャ統計の明示的モデリングが、高倍率スーパーサンプリングにおけるシャープで現実的なテクスチャをもたらすか？
• RQ3 フィードフォワード型で完全畳み込みネットワークアーキテクチャが、PSNRおよび知覚的品質ベンチマークで最先端のパフォーマンスを達成できるか？
• RQ4 本手法は、特に4倍倍率において、既存のSISRモデルと比較して視覚的リアリズムと人間の認識において優れているか？
• RQ5 標準的なPSNRベースの学習では、真値テクスチャとの一致が欠落しているため、知覚的に不自然な結果が生じる程度はどの程度か？

主な発見

• ENet-PAT（Perceptual Adversarial Texture）は、Set5（2倍拡大時37.32 dB）、Set14（2倍拡大時33.25 dB）、Urban100（2倍拡大時31.21 dB）でPSNRにおいて最先端の結果を達成し、VDSR や DRCN を含む先行手法を上回った。
• 4倍拡大のスーパーサンプリングにおいて、Set5で33.89 dB、Set14で30.45 dB、BSD100で28.30 dB、Urban100で29.00 dBを達成し、高い倍率にもかかわらず優れた性能を示した。
• 人間の知覚調査では91.0％の選択率を記録し、参加者がENet-PATの出力をPSNR最適化版ENet-Eよりも好む結果となり、優れた知覚的品質を裏付けた。
• 入力が4倍にダウンサンプリングされた場合（93.75％のピxls損失）でも、ENet-PATはシャープで現実的なテクスチャを生成し、情報が少ないモデルに比べて優れた性能を示した。
• 追加の正則化なしに、明示的なテクスチャ統計一致損失のおかげで、視覚的に不自然なアーティファクトを低減し、テクスチャリアリズムを向上させた。
• バタフライ画像（Set5）の例から、ENet-PATは細い線やエッジなどの微細なディテールをRAISR や他のSOTA手法よりも優れて再構成していることが示された。