[論文レビュー] Learning a Single Convolutional Super-Resolution Network for Multiple Degradations

Kai Zhang, Wangmeng Zuo+1 more|arXiv (Cornell University)|Dec 17, 2017

Advanced Image Processing Techniques参考文献 47被引用数 58

ひとこと要約

この論文はSRMDを提案する。SRMDは1つのCNNで、入力として劣化情報（ブラーカーネルとノイズレベル）を次元伸長を通じて組み込み、複数かつ空間的に変動する劣化を扱う。合成劣化で学習し、速度とスケーラビリティを維持しつつ競争力のある結果を達成。

ABSTRACT

Recent years have witnessed the unprecedented success of deep convolutional neural networks (CNNs) in single image super-resolution (SISR). However, existing CNN-based SISR methods mostly assume that a low-resolution (LR) image is bicubicly downsampled from a high-resolution (HR) image, thus inevitably giving rise to poor performance when the true degradation does not follow this assumption. Moreover, they lack scalability in learning a single model to non-blindly deal with multiple degradations. To address these issues, we propose a general framework with dimensionality stretching strategy that enables a single convolutional super-resolution network to take two key factors of the SISR degradation process, i.e., blur kernel and noise level, as input. Consequently, the super-resolver can handle multiple and even spatially variant degradations, which significantly improves the practicability. Extensive experimental results on synthetic and real LR images show that the proposed convolutional super-resolution network not only can produce favorable results on multiple degradations but also is computationally efficient, providing a highly effective and scalable solution to practical SISR applications.

研究の動機と目的

• SISRモデルを単一の双三次劣化で訓練する実用的制限を克服し、複数かつ空間的に変動する劣化を処理できる単一モデルを実現する。
• ブラーとノイズを同時に考慮する劣化認識CNNフレームワークを導入し、SR中のノイズとブラーを共同で扱う。
• synthetic劣化を用いたシンプルでスケーラブルな訓練戦略を開発し、実世界適用性を達成する。
• CNNのSRにおけるMAPベースの解釈に洞察を提供し、設計選択を正当化する。

提案手法

• LR画像をブラーカーネルとノイズレベルをエンコードする劣化マップと連結し、次元拡張戦略を通じてデ degradationマップを用いた劣化認識CNNを採用する。
• ブラーカーネルをベクトル化し、PCAでt次元空間に射影し、ノイズレベルと合わせてW×H×(t+1)サイズの劣化マップを形成する。
• 3×3フィルター、ReLU、Batch Normalizationを備えた12層の平凡なCNNと、HR画像を生成する最終的なサブピクセル畳み込み層を使用する。
• SRMDNF（ノイズなし変種）をSRMDを微調整して得るなど、スケール因子2・3・4それぞれのモデルを別個に訓練する。
• 大規模なクリーンHR画像セットに等方・非等方ガウシアンブラー、双三次ダウンサンプリング、およびAWGNを適用して訓練データを合成する。
• MAP風の見方でSR問題を定式化し、データ適合性と事前知識を共同で学習する動機づけを行い、劣化入力を介して複数劣化を単一モデルで処理できるようにする。

実験結果

リサーチクエスチョン

• RQ1 単一モデルはSISRにおいて複数かつ空間的に変動する劣化を効果的に扱えるか。
• RQ2 実世界LR画像へ転送可能な合成データを用いた実用的な劣化認識SRモデルを訓練することは現実的か。
• RQ3 ブラーカーネルとノイズレベルを入力として組み込むことは、双三次劣化ベースのモデルよりSR性能を改善するか。
• RQ4 劣化認識CNNは、一般的および空間的に変動する劣化の下で、モデルベースの最適化および他のCNNベースSR手法とどのように比較されるか。

主な発見

• SRMDは標準的な双三次ベンチマークで競争的なPSNR/SSIMを達成し、スケール因子2・3・4で最先端のCNNベースSR手法とほぼ同等またはそれを上回る（例：SRMD対VDSR：スケール2で同等、より大きなスケールで上回る；SRMDNFは複数セットで総合PSNR/SSIMで最良を示す）。
• SRMDNF（ノイズなし）はしばしば総合的な定量結果で最良を提供する。例：Set5のスケール4でPSNR/SSIMが31.96/0.893（表1より）。
• 本手法は双三次以外の一般的な劣化への強い一般化を示し、NCSRおよびIRCNNを上回り、ぼかし幅が大きくなるとDnCNN+SRMDNFのPSNR利得を上回る。
• 空間的に変動する劣化にも適用可能で、さまざまなブラー/ノイズマップ下でエッジやテクスチャが回復した定性的結果から裏付けられる。
• 実用的な性能と高速な実行時間を提供する：例えばSRMDは1024×1024画像をスケール依存で0.027–0.084秒で再構成する。
• 実データLR画像での実験では、SRMDは競合手法（VDSRやWaifu2xなど）よりも視覚的に妥当なHR結果とエッジ保持を提供する。