[論文レビュー] Single Image Super-Resolution Using Multi-Scale Convolutional Neural Network

Xiaoyi Jia, Xiangmin Xu+2 more|arXiv (Cornell University)|May 15, 2017

Advanced Image Processing Techniques参考文献 17被引用数 6

ひとこと要約

本稿では、異なる受容 field サイズからの特徴を捉えるために並列なマルチスケールパスを用いるマルチスケールスーパーレゾリューション（MSSR）ネットワークを提案する。これにより、多様な画像構造においても詳細な再構成が向上する。モデルは、複数のスケーリング要因に対して1つの訓練済みネットワークで、SOTAの性能を達成しており、PSNRおよびSSIMの両面で先行手法を上回りながらも、高い推論速度を維持している。

ABSTRACT

Methods based on convolutional neural network (CNN) have demonstrated tremendous improvements on single image super-resolution. However, the previous methods mainly restore images from one single area in the low resolution (LR) input, which limits the flexibility of models to infer various scales of details for high resolution (HR) output. Moreover, most of them train a specific model for each up-scale factor. In this paper, we propose a multi-scale super resolution (MSSR) network. Our network consists of multi-scale paths to make the HR inference, which can learn to synthesize features from different scales. This property helps reconstruct various kinds of regions in HR images. In addition, only one single model is needed for multiple up-scale factors, which is more efficient without loss of restoration quality. Experiments on four public datasets demonstrate that the proposed method achieved state-of-the-art performance with fast speed.

研究の動機と目的

• 既存のCNNベースのスーパーレゾリューション手法における単一スケールの受容 field の制限を解決すること。これにより、多様な画像ディテールを処理する能力が制限されている。
• 再訓練なしに複数のスケーリング要因（例：x2、x3、x4）を効果的に処理できる1つのモデルを実現することにより、効率性を向上させること。
• 異なるサイズの受容 field からのマルチスケールの文脈的情報を統合することで、特徴表現を向上させること。
• マルチパスアーキテクチャとリーマン学習、マルチスケールトレーニングを組み合わせることで、再構成品質と速度を向上させること。

提案手法

• MSSRネットワークは、異なる深さと受容 field を持つ2つの並列サブネットワーク（大規模パス（Module-L）と小規模パス（Module-S））を採用する。
• 入力はバイキュービックアップサンプリングされた低分解能画像であり、受容 field が13、27、41の3つの並列ストリームを用いてマルチスケール特徴を捉える。
• マルチスケールストリームからの特徴は連結され、リーマン学習を用いた再構成モジュールを経て、高分解能出力を精緻化する。
• 異なるスケーリング要因において正確な再構成を促進するマルチスケール損失関数を用いて、エンドツーエンドでモデルを訓練する。
• 重み初期化はHeら（2015）の手法に従い、学習率の減衰とバッチ正規化を用いて訓練の安定性を確保する。
• デコンボリューション層を回避し、効率的な畳み込み演算を用いることで、推論速度の最適化を図る。

実験結果

リサーチクエスチョン

• RQ1 1つのディープラーニングモデルが、各スケーリング要因ごとに別々に訓練することなく、複数のスケーリング要因を効果的に処理できるか？
• RQ2 マルチスケールの受容 field を組み込むことで、多様な画像コンテンツにおいてスーパーレゾリューションの品質が向上するか？
• RQ3 マルチパスCNNアーキテクチャは、単一スケールモデルに比べて、構造的およびテクスチャ的ディテールをより効果的に捉えることができるか？
• RQ4 提案されたMSSR手法は、SOTAのスーパーレゾリューションネットワークと比較して、性能と速度の両面で優れているか？

主な発見

• 提案されたMSSRモデルは、4つの公開データセット（Set5、Set14、B100、Urban100）において、スケーリング要因x2、x3、x4の全範囲でSOTAのPSNRおよびSSIMスコアを達成した。
• Set5では、PSNRがx2で37.62 dB、x3で33.82 dB、x4で31.42 dBを達成し、VDSRおよびFSRCNNを上回った。
• Urban100では、x2で30.84 dB、x3で27.20 dB、x4で25.19 dBを達成し、複雑なテクスチャとエッジにおいて優れた性能を示した。
• 先行手法と比較して、推論速度が顕著に高速であり、VDSRおよびFSRCNNと比較して数十倍の高速化を達成した。
• 視覚的結果では、MSSRが特にエッジや微細なテクスチャ領域において、よりシャープな線と明瞭なテキストを生成していることが確認された。
• スケーリング要因にわたる汎用性が高く、すべてのスケールで1つのモデルで十分であり、トレーニングおよびメモリのオーバーヘッドが削減された。