[論文レビュー] An Effective Single-Image Super-Resolution Model Using Squeeze-and-Excitation Networks

Kangfu Mei, Aiwen Jiang+3 more|arXiv (Cornell University)|Oct 3, 2018

Advanced Image Processing Techniques参考文献 20被引用数 5

ひとこと要約

本稿では、特徴マップ内のチャネル間依存性をモデル化するためのSqueeze-and-Excitation (SE) ブロックを統合した深層残差超解像ネットワーク、SrSENet を提案する。これにより、チャネルごとの特徴再キャリブレーションが動的に可能となり、特に大きなアップスケーリング係数（例：8倍）において、複雑さを低減しつつ最先端のPSNRおよびSSIM性能を達成する。

ABSTRACT

Recent works on single-image super-resolution are concentrated on improving performance through enhancing spatial encoding between convolutional layers. In this paper, we focus on modeling the correlations between channels of convolutional features. We present an effective deep residual network based on squeeze-and-excitation blocks (SEBlock) to reconstruct high-resolution (HR) image from low-resolution (LR) image. SEBlock is used to adaptively recalibrate channel-wise feature mappings. Further, short connections between each SEBlock are used to remedy information loss. Extensive experiments show that our model can achieve the state-of-the-art performance and get finer texture details.

研究の動機と目的

• 畳み込み特徴におけるチャネル間相関をモデル化することで、単一画像超解像を改善すること。
• 特に高いアップスケーリング係数において、性能を維持または向上させつつモデルの複雑さを低減すること。
• ネットワークの深さや複雑さを増加させることなく、柔軟で高速かつ高精度な超解像フレームワークを開発すること。
• SISRの不適切な定式化を、適応的チャネル再キャリブレーションによる特徴表現の強化によって解決すること。

提案手法

• 特徴抽出段階で、チャネルごとの動的で学習可能な特徴再キャリブレーションを実行するため、Squeeze-and-Excitation (SE) ブロックを導入する。
• 情報損失や勾配消失を軽減するため、入力から各SEブロックにスカイプ接続を適用する残差学習を採用する。
• アップスケーリングに転置畳み込み層（deconvolutional layers）を用い、共有された特徴抽出アーキテクチャ内でスケールごとに異なるデコンボリューション層を適用する。
• 全チャネルごとのグローバル情報の集約にスイーツ操作を、全結合層とシグモインド活性化関数を用いたチャネルごとの注目重みの学習にエキサイトーション操作を適用する。
• SEブロックによる表現力の向上を活用し、不要な層を削除することでパフォーマンスを維持した軽量ネットワークを設計する。
• 一貫した特徴抽出とスケーラブルなアップスケーリングを備えた、複数のアップスケーリングレート（2倍、4倍、8倍）をサポートするネットワークアーキテクチャに適応する。

実験結果

リサーチクエスチョン

• RQ1 畳み込み特徴におけるチャネル間依存性をモデル化することで、超解像性能が向上するか？
• RQ2 残差ネットワークアーキテクチャにSqueeze-and-Excitationブロックを統合することで、より良いテクスチャ再構築と高いPSNR/SSIMが達成されるか？
• RQ3 層の数を減らした軽量ネットワークが、チャネルごとの再キャリブレーションによって最先端のパフォーマンスを達成できるか？
• RQ4 特に高いアップスケーリング係数（例：8倍）において、提案手法は既存のSISRモデルと比較して性能と速度で優れているか？
• RQ5 提案手法はモデルの複雑さを低減しつつも、高い精度を維持できるか？

主な発見

• 8倍アップスケーリングベンチマークにおいて、SrSENetはSet14でPSNR 26.10を達成し、VDSR（25.72）およびLapSRN（26.14）を上回り、SSIMは0.703を記録した。
• 4倍アップスケーリングにおいて、SrSENetはSet5でPSNR 31.40を達成し、VDSR（31.35）およびLapSRN（31.54）を上回り、SSIMは0.881を記録した。
• Urban100において、4倍アップスケーリングでSrSENetはPSNR 25.21、SSIM 0.762を達成し、VDSR（25.18）およびLapSRN（25.21）を上回り、より優れたテクスチャディティール回復を示した。
• アブレーションスタディの結果、SEブロックを削除するとSet5においてPSNRが0.10低下（31.30 vs. 31.40）することが確認され、チャネル再キャリブレーションの重要性が裏付けられた。
• ネットワークの深さや複雑さを増加させることなく、すべてのベンチマーク（Set5、Set14、BSDS100、Urban100、Manga109）で2倍、4倍、8倍アップスケーリングにおいて最先端のパフォーマンスを達成した。
• 視覚的比較では、Bicubic、SRCNN、FSRCNN、VDSR、LapSRNと比較して、特に高スケールにおいて、SrSENetがよりシャープなテクスチャと繊細なディテールを生成した。