[論文レビュー] GUN: Gradual Upsampling Network for Single Image Super-Resolution

Yang Zhao, Guoqing Li+4 more|arXiv (Cornell University)|Mar 13, 2017

Advanced Image Processing Techniques参考文献 61被引用数 6

ひとこと要約

本論文では、1枚の画像に対する超解像処理を簡素化するために段階的なアップサンプリング戦略を用いる深層畳み込みニューラルネットワークGUNを提案する。スタックされたアップコンボリューションブロックを用いて段階的に解像度を向上させ、プログレッシブなトレーニング方式を採用することで、よりシャープで鮮やかな結果が得られ、ベンチマークデータセット上でもトレーニングの安定性と性能が向上する。

ABSTRACT

In this paper, an efficient super-resolution (SR) method based on deep convolutional neural network (CNN) is proposed, namely Gradual Upsampling Network (GUN). Recent CNN based SR methods often preliminarily magnify the low resolution (LR) input to high resolution (HR) and then reconstruct the HR input, or directly reconstruct the LR input and then recover the HR result at the last layer. The proposed GUN utilizes a gradual process instead of these two commonly used frameworks. The GUN consists of an input layer, multiple upsampling and convolutional layers, and an output layer. By means of the gradual process, the proposed network can simplify the direct SR problem to multistep easier upsampling tasks with very small magnification factor in each step. Furthermore, a gradual training strategy is presented for the GUN. In the proposed training process, an initial network can be easily trained with edge-like samples, and then the weights are gradually tuned with more complex samples. The GUN can recover fine and vivid results, and is easy to be trained. The experimental results on several image sets demonstrate the effectiveness of the proposed network.

研究の動機と目的

• 直接的な高倍率画像アップスケーリングという複雑なタスクを簡素化することで、深層超解像ネットワークのトレーニングの課題に対処すること。
• 複数の小スケールアップサンプリングステップに超解像プロセスを分割することで、トレーニングの安定性と特徴の回復を向上させること。
• エッジに類似したサンプルから始めるプログレッシブなトレーニング戦略により、ネットワークが段階的に複雑なテクスチャーやエッジを学習できるようにすること。
• ネットワークの複雑さを低減し収束性を向上させながら、高品質で視覚的に現実的である超解像画像を実現すること。

提案手法

• GUNアーキテクチャは、一度に大きなスケールのアップスケーリングを行うのではなく、低解像度から高解像度へ段階的に解像度を向上させる一連のスタックされたアップコンボリューションブロックを採用する。
• 各アップサンプリングブロックは、逆畳み込みとリーマン学習を組み合わせることで、空間的詳細を保持し最適化を容易にする。
• ネットワークはプログレッシブにトレーニングされる：最初に単純なエッジに類似したサンプルで、その後より複雑な実際の画像でトレーニングすることで、安定した重みの適応が可能になる。
• 段階的なアップスケーリングプロセスにより、一度に高周波数成分を学習する難易度が低下し、特徴表現が向上する。
• 段階を跨いで学習負荷を分散させることで、高価なスキップ接続や深層の監視を避けることができる。
• 最終的な出力は、アップサンプリングされた特徴を高解像度画像に精練する最終的な畳み込み層によって生成される。

実験結果

リサーチクエスチョン

• RQ1 段階的なアップサンプリング戦略は、深層超解像ネットワークの品質と安定性を向上させることができるか？
• RQ2 段階的に複雑さが増すサンプルでプログレッシブにトレーニングすることで、超解像タスクにおけるより良い特徴学習と収束が達成できるか？
• RQ3 小スケールのアップサンプリングステップは、1ステップでの大規模な倍率アップスケーリングに比べ、知覚的品質およびPSNR/SSIM指標で優れていると評価できるか？
• RQ4 GUNアーキテクチャは、既存のCNNベースの超解像手法と比較して、トレーニング効率および視覚的忠実度の面で優れているか？

主な発見

• GUNは、DIV2KやSet5を含む複数のベンチマークデータセットで最先端の性能を達成し、PSNRおよびSSIMスコアが向上した。
• 段階的なアップサンプリング戦略により、トレーニングがより安定し、再構成画像における微細なテクスチャーやエッジの保持が向上した。
• プログレッシブなトレーニング方式により、初期からエンドツーエンドでトレーニングする手法と比較して、収束が速く、性能も向上した。
• 視覚的結果から、GUNはベースライン手法と比較して、よりシャープで鮮やかで、より自然な外観の超解像画像を生成していることが示された。