[論文レビュー] Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution

Wei‐Sheng Lai, Jia‐Bin Huang+2 more|arXiv (Cornell University)|Apr 12, 2017

Advanced Image Processing Techniques参考文献 32被引用数 8

ひとこと要約

本稿では、転置畳み込みを用いて複数スケールでのサブバンド残差を逐次予測することで、高解像度画像を段階的に再構築する深層ラプラシアンピラミッドネットワークLapSRNを提案する。バイキュービックアップサンプリングに代えて学習可能な転置畳み込みを採用し、頑健なチャボニエール損失で訓練することで、最先端の精度と高速性を達成し、1回の順伝播でリアルタイム性能とマルチスケール予測を実現する。

ABSTRACT

Convolutional neural networks have recently demonstrated high-quality reconstruction for single-image super-resolution. In this paper, we propose the Laplacian Pyramid Super-Resolution Network (LapSRN) to progressively reconstruct the sub-band residuals of high-resolution images. At each pyramid level, our model takes coarse-resolution feature maps as input, predicts the high-frequency residuals, and uses transposed convolutions for upsampling to the finer level. Our method does not require the bicubic interpolation as the pre-processing step and thus dramatically reduces the computational complexity. We train the proposed LapSRN with deep supervision using a robust Charbonnier loss function and achieve high-quality reconstruction. Furthermore, our network generates multi-scale predictions in one feed-forward pass through the progressive reconstruction, thereby facilitates resource-aware applications. Extensive quantitative and qualitative evaluations on benchmark datasets show that the proposed algorithm performs favorably against the state-of-the-art methods in terms of speed and accuracy.

研究の動機と目的

• 既存の超解像手法が事前に定義されたアップサンプリング（例：バイキュービック補間）に依存する点に起因する計算コストの増加とアーチファクトの発生を是正すること。
• 多モodalな高解像度パッチ分布をモデル化できない$\ell_2$損失関数が原因で生じる再構築画像のぼやけを克服すること。
• 1回の推論パスで複数スケールの中間予測を生成することで、リソースに配慮した柔軟な超解像を実現すること。
• エンドツーエンドのディープスーパービジョンと頑健なチャボニエール損失関数を用いることで、ネットワークの表現力と訓練の安定性を向上させること。

提案手法

• ネットワークはラプラシアンピラミッドフレームワークに基づき、各レベルで段階的に細かいスケールの高周波成分（残差）を予測するサブネットワークのスタックを用いる。
• 各レベルでは、低解像度特徴マップから畳み込み層で特徴を抽出し、次に転置畳み込みを用いて次のより細かい解像度にアップサンプリングする。
• 予測された残差を各レベルでアップサンプリングされた画像に加算することで、段階的精錬によって高解像度出力を再構築する。
• エンドツーエンドで訓練され、各ピラミッドレベルにチャボニエール損失を適用することで、外れ値に対して頑健になり、ぼやけを低減する。
• アーキテクチャはマルチスケール推論をサポートする：上位レベルの残差予測をスキップすることで、同じモデルで2×または4×超解像を実行できる。
• バイキュービック補間による事前処理を回避することで、計算オーバーヘッドを低減し、より高速な推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 事前に定義されたアップサンプリングに依存しない深層CNNベースの超解像手法は、高精度かつリアルタイム推論を両立できるか？
• RQ2 チャボニエール損失のような頑健な損失関数を用いたエンドツーエンド訓練は、$\ell_2$損失と比較してぼやけを低減し、視認品質を向上させるか？
• RQ3 段階的かつマルチスケール再構築フレームワークは、異なる計算リソース予算に応じた柔軟でリソースに配慮した超解像を実現できるか？
• RQ4 バイキュービック補間を学習可能な転置畳み込みに置き換えることで、再構築品質の向上とアーチファクトの低減が達成できるか？

主な発見

• 提案されたLapSRNは、ベンチマークデータセットにおいてPSNRとSSIMの両面で最先端の性能を達成し、SRCNN、VDSR、DRCN、FSRCNNを上回る精度を示した。
• LapSRNはSRCNNやVDSRよりも高速に動作し、1200×800の動画フレームに対して8×超解像で30 FPSを超えるリアルタイム推論を達成した。一方、SRCNNとVDSRはそれぞれ8.43 FPSおよび1.98 FPSにとどまった。
• Set14データセットにおける4×超解像の評価では、LapSRNは33.78 dBのPSNRを達成し、FSRCNN（33.67 dB）とVDSR（33.54 dB）を上回った。
• JPEG圧縮アーチファクトを含む実写写真に対しても、高品質でシャープな結果を生成し、文字やレールの細部を正確に再構築した。VDSRやFSRCNNを上回る性能を示した。
• プログレッシブなアーキテクチャによりマルチスケール予測が可能である：同じモデルで、ピラミッドの異なるレベルでの残差計算を切り替えることで、2×、4×、8×超解像を実行できる。
• 利点が多くても、入力の低解像度画像に十分な構造的コンテンツが欠けている場合（重度にぼやけた領域やコントラストが低い領域）、細部の回復に失敗する場合がある。