[論文レビュー] A Fully Progressive Approach to Single-Image Super-Resolution

Yifan Wang, Federico Perazzi+4 more|arXiv (Cornell University)|Apr 9, 2018

Advanced Image Processing Techniques参考文献 27被引用数 35

ひとこと要約

本稿では、段階的アップサンプリングと密な圧縮ユニットを備えたピラミッド型アーキテクチャを用いて、1枚の画像に対する超解像を段階的に実行する完全なプログレッシブなディーブラーニングフレームワーク、ProSRを提案する。低〜高比率のアップサンプリングに段階的に訓練し、プログレッシブ GAN（ProGanSR）を統合することで、SOTA の PSNR と SSIM スコアを達成した—8×アップサンプリングにおいて SSIM 2位、PSNR 4位の順位を記録したが、トップモデル比で5倍高速であった。

ABSTRACT

Recent deep learning approaches to single image super-resolution have achieved impressive results in terms of traditional error measures and perceptual quality. However, in each case it remains challenging to achieve high quality results for large upsampling factors. To this end, we propose a method (ProSR) that is progressive both in architecture and training: the network upsamples an image in intermediate steps, while the learning process is organized from easy to hard, as is done in curriculum learning. To obtain more photorealistic results, we design a generative adversarial network (GAN), named ProGanSR, that follows the same progressive multi-scale design principle. This not only allows to scale well to high upsampling factors (e.g., 8x) but constitutes a principled multi-scale approach that increases the reconstruction quality for all upsampling factors simultaneously. In particular ProSR ranks 2nd in terms of SSIM and 4th in terms of PSNR in the NTIRE2018 SISR challenge [34]. Compared to the top-ranking team, our model is marginally lower, but runs 5 times faster.

研究の動機と目的

• 大きなアップサンプリング係数（例：8×）における高品質な超解像を達成する課題に取り組むこと。既存手法は再構築精度と計算コストの両面で困難を抱えている。
• 直接アップサンプリング（高メモリ消費）やパイプライン終端でのアップサンプリング（アーチファクト）の限界を克服するため、プログレッシブでマルチスケールなアーキテクチャを導入すること。
• 低〜高比率のアップサンプリング比への段階的訓練（カリキュラム学習戦略）を用いることで、全スケールで訓練の安定性と性能を向上させること。
• 高解像度出力の知覚的品質を向上させるために、現実的なテクスチャを「幻覚化」するプログレッシブ GAN フレームワークを統合すること。

提案手法

• 各レベルで2倍に段階的にアップサンプリングするピラミッド型ネットワークアーキテクチャを設計し、特徴の学習と情報の流れを強化するため、密な圧縮ユニット（DCUs）を用いる。
• 再構築精度の向上とメモリ消費の低減を図るため、低レベルに多くのレイヤーを割り当てる非対称ピラミッド設計を導入する。
• カリキュラム学習にインspiredしたプログレッシブな訓練戦略を実装し、最初に小さなアップサンプリング係数で訓練し、徐々に大きな係数へと段階的に向上させる。
• 各スケールで残差出力に対して作用するディスクライマーを持つプログレッシブ GAN、ProGanSR を開発し、統合的マルチスケール訓練を可能にする。
• 明示的なテクスチャマッチング損失を用いずに、知覚的損失と adversarial 訓練を組み合わせることで、写真的にリアルな結果を生成する。
• 推論時に幾何的アンサンブルを適用することで、特に NTIRE2018 チャレンジにおいて性能をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 段階的にアップサンプリングするプログレッシブアーキテクチャは、大規模超解像において再構築精度と効率性を向上させることができるか？
• RQ2 低〜高比率のアップサンプリング比への段階的訓練（カリキュラム学習）は、全スケールでモデルの収束性と性能を向上させるか？
• RQ3 マルチスケールディスクライマーを備えたプログレッシブ GAN デザインは、従来の GAN 基盤の SISR 手法よりも 8× アップサンプリングでより写真的でリアルな結果を生み出せるか？
• RQ4 非対称ピラミッド設計は、対称的または再帰的アーキテクチャと比較して、メモリ効率性と再構築品質の面で優れているか？
• RQ5 プログレッシブなマルチスケールアプローチは、PSNR/SSIM と推論速度の両面で、SOTA モデルをどの程度上回ることができるか？

主な発見

• ProSR は、8× アップサンプリングにおいて、DIV2K データセットで新記録の SOTA の PSNR 36.44 dB と SSIM 0.781 を達成し、この設定で全ての先行手法を上回った。
• NTIRE2018 SISR チャレンジにおいて、SSIM 2位、PSNR 4位の順位を記録した。トップチームより僅か 0.04 dB の PSNR の低下しかなく、推論速度は 5 倍高速であった。
• 8× アップサンプリングにおいて、ProSRℓ は B100 データセットで 25.29 dB の PSNR と 0.708 の SSIM を達成し、EDSR（24.96 dB、0.699 SSIM）など既存の SOTA 手法を顕著に上回った。
• プログレッシブな訓練戦略により、合計の訓練時間の短縮と GAN 訓練の安定化が達成され、8× まで安定した高品質で知覚的に妥当な詳細の生成が可能になった。
• 非対称ピラミッド設計により、対称的または再帰的アーキテクチャと比較して、特に高アップサンプリング比においてメモリ消費を低減し、再構築精度を向上させた。
• 視覚的結果では、ProSR に GAN を組み合わせることで、明示的なテクスチャマッチング損失がなくても、実際の画像と整合性の高い細かいテクスチャを「幻覚化」し、SRGAN や EnhanceNet よりも知覚的品質とスケーラビリティに優れた結果を示した。