[論文レビュー] SESR: Single Image Super Resolution with Recursive Squeeze and Excitation Networks

Xi Cheng, Xiang Li+2 more|arXiv (Cornell University)|Jan 31, 2018

Advanced Image Processing Techniques参考文献 13被引用数 11

ひとこと要約

本稿では、再帰的 squeeze-and-excitation ネットワークを用いた単一画像超解像手法 SESR を提案する。squeeze-and-excitation モジュールとプログレッシブ再構成を組み合わせた再帰的アーキテクチャにより、パラメータ数と層数を削減しながら、4つのベンチマークデータセットで最先端の精度と速度を達成する。

ABSTRACT

Single image super resolution is a very important computer vision task, with a wide range of applications. In recent years, the depth of the super-resolution model has been constantly increasing, but with a small increase in performance, it has brought a huge amount of computation and memory consumption. In this work, in order to make the super resolution models more effective, we proposed a novel single image super resolution method via recursive squeeze and excitation networks (SESR). By introducing the squeeze and excitation module, our SESR can model the interdependencies and relationships between channels and that makes our model more efficiency. In addition, the recursive structure and progressive reconstruction method in our model minimized the layers and parameters and enabled SESR to simultaneously train multi-scale super resolution in a single model. After evaluating on four benchmark test sets, our model is proved to be above the state-of-the-art methods in terms of speed and accuracy.

研究の動機と目的

• 過大な計算量とメモリ消費を伴うが、性能向上がわずかな深層超解像モデルの非効率性を是正すること。
• squeeze-and-excitation モジュールを用いて特徴マップ間の相関関係をモデル化することで、チャネル単位の特徴表現を向上させること。
• 再帰的アーキテクチャによりネットワークの深さとパラメータ数を最小限に抑えることで、モデルの複雑さを低減すること。
• 1つの統合モデル内でマルチスケール超解像学習を可能にすること。
• 従来の最先端手法と比較して、速度と精度の両面で優れたパフォーマンスを達成すること。

提案手法

• グローバル情報に基づいて特徴マップを再スケーリングすることで、チャネル単位の依存関係を明示的にモデル化する squeeze-and-excitation (SE) モジュールを導入する。
• 同じブロックを複数回再利用する再帰的ネットワーク構造を採用し、学習可能なパラメータ数と層数を削減する。
• 1つのモデル内で複数スケールで段階的に出力画像を精緻化するプログレッシブ再構成戦略を適用する。
• SE モジュールと再帰的アーキテクチャを統合することで、特徴表現を強化しつつ計算効率を維持する。
• 複数の超解像スケールを1つの共有ネットワークでエンドツーエンドに学習する。
• 画素単位の損失と知覚的損失を組み合わせた損失関数を用い、視覚的品質と忠実度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 再帰的ネットワークアーキテクチャは、モデルの複雑さを低減しつつ、超解像性能を維持または向上させることができるか？
• RQ2 squeeze-and-excitation メカニズムは、画像超解像におけるチャネル単位の特徴表現を向上させるのにどの程度有効か？
• RQ3 別々のアーキテクチャを用意せず、1つのモデルがマルチスケール超解像タスクを効果的に学習できるか？
• RQ4 提案手法は、従来の最先端手法と比較して、速度、精度、パラメータ効率のバランスをより良く達成できるか？
• RQ5 SE モジュールの統合は、リソースが限られた環境や深層ネットワーク設定において、どの程度パフォーマンスを向上させるか？

主な発見

• SESR は、PSNR と SSIM の両面で4つのベンチマークデータセットにおいて最先端のパフォーマンスを達成し、従来手法を上回る。
• 深層残差ネットワークと比較して、パラメータ数と層数を顕著に削減し、効率性が向上している。
• 再帰的構造により、1つのモデル内でマルチスケール超解像学習が可能となり、デプロイメントが簡素化される。
• squeeze-and-excitation モジュールの統合により特徴表現が向上し、再構成精度が向上する。
• より深いモデルと比較して、SESR は高速な推論速度を示しながらも、高い精度を維持している。
• プログレッシブ再構成戦略が、安定した学習と複数スケールでの画像品質の向上に寄与している。