[論文レビュー] Fast and Accurate Image Super-Resolution with Deep Laplacian Pyramid Networks

Wei‐Sheng Lai, Jia‐Bin Huang+2 more|arXiv (Cornell University)|Oct 4, 2017

Advanced Image Processing Techniques参考文献 48被引用数 53

ひとこと要約

本論文は、LapSRN という、複数のピラミッドレベルで残差を学習し、共有パラメータと頑健な損失を用いた、進行的で高速・高精度な単一画像超解像の深いラプラシアンピラミッドネットワークである LapSRN を提案する。

ABSTRACT

Convolutional neural networks have recently demonstrated high-quality reconstruction for single image super-resolution. However, existing methods often require a large number of network parameters and entail heavy computational loads at runtime for generating high-accuracy super-resolution results. In this paper, we propose the deep Laplacian Pyramid Super-Resolution Network for fast and accurate image super-resolution. The proposed network progressively reconstructs the sub-band residuals of high-resolution images at multiple pyramid levels. In contrast to existing methods that involve the bicubic interpolation for pre-processing (which results in large feature maps), the proposed method directly extracts features from the low-resolution input space and thereby entails low computational loads. We train the proposed network with deep supervision using the robust Charbonnier loss functions and achieve high-quality image reconstruction. Furthermore, we utilize the recursive layers to share parameters across as well as within pyramid levels, and thus drastically reduce the number of parameters. Extensive quantitative and qualitative evaluations on benchmark datasets show that the proposed algorithm performs favorably against the state-of-the-art methods in terms of run-time and image quality.

研究の動機と目的

• 事前に bicubic 補完でアップサンプリングすることなく、迅速で高精度な単一画像 SR を動機付ける。
• LR 入力から HR 画像を再構成するための進行的なラプラシアンピラミッド枠組みを提案する。
• 容量を増やしつつモデルサイズを削減するためのパラメータ共有と再帰ブロックを設計する。
• 頑健な損失関数（Charbonnier）と深部監督を用いて再構成品質を向上させる。

提案手法

• 特徴抽出ブランチと画像再構成ブランチを用いて、複数のピラミッドレベルでサブバンド残差を段階的に再構成する。
• LR空間から直接特徴を抽出し、転置畳み込みで特徴マップをアップサンプルしてレベルごとの残差を予測する。
• 再帰ブロックを介してピラミッドレベル間およびレベル内でネットワークパラメータを共有し、パラメータを大幅に削減する。
• Charbonnier 損失を用いたマルチスケール深部監督で、各ピラミッドレベルの粗いから細かい再構成を導く。
• マルチスケールデータ（2x、4x、8x）で訓練し、スケール間の相関を活用して一般化を改善する。

実験結果

リサーチクエスチョン

• RQ1 ラプラシアンピラミッドベースのCNNは、LR入力からHR画像を、単一ステップのアップサンプリング手法よりも効率的に再構成できるのか。
• RQ2 Charbonnier 損失を用いた段階的・多レベル監督は、L2 損失と比較してSR品質を向上させ、アーチファクトを低減するのか。
• RQ3 パラメータ共有と再帰ブロックがSR性能とモデルサイズに与える影響は何か。
• RQ4 単一のマルチスケールモデルは、複数のアップサンプリング係数（2x、4x、8x）を効果的に処理できるのか。

主な発見

• LapSRN は、VDSR、DRCN、DRRN を含むいくつかの CNN ベース SR モデルよりも高速な実行時間を実現し、より高い再構成品質を提供する。
• ピラミッドレベル間のパラメータ共有により、約73% のネットワークパラメータを削減し、同等または改善した性能を実現する。
• 共有ウェイトを備えた再帰的で深く積み重ねたブロックは、パラメータの比例的な増加なしにより深いネットワークを可能にする。
• 各ピラミッドレベルでのマルチスケール監督は、段階的な再構成を導き、空間的エイリアシングアーティファクトを低減する。
• 学習時に Charbonnier 損失を用いると、L2 損失よりもシャープで忠実な SR 結果を得られ、収束が速くなる。