[論文レビュー] Channel-wise and Spatial Feature Modulation Network for Single Image Super-Resolution

Yanting Hu, Jie Li+2 more|arXiv (Cornell University)|Sep 28, 2018

Advanced Image Processing Techniques参考文献 40被引用数 20

ひとこと要約

本稿では、1枚の画像に対する超解像処理のためのチャネル別および空間的特徴調制（CSFM）ネットワークを提案する。チャネル別および空間的注意に基づく残差（CSAR）ブロックを用いた段階的な特徴調制メモリ（FMM）モジュールを組み合わせ、情報量の多い特徴を動的に強化し、ノイズを抑制する。ゲート付き融合機構により長期的な文脈情報を保持し、従来手法よりも少ないパラメータで最先端の性能を達成する。

ABSTRACT

The performance of single image super-resolution has achieved significant improvement by utilizing deep convolutional neural networks (CNNs). The features in deep CNN contain different types of information which make different contributions to image reconstruction. However, most CNN-based models lack discriminative ability for different types of information and deal with them equally, which results in the representational capacity of the models being limited. On the other hand, as the depth of neural networks grows, the long-term information coming from preceding layers is easy to be weaken or lost in late layers, which is adverse to super-resolving image. To capture more informative features and maintain long-term information for image super-resolution, we propose a channel-wise and spatial feature modulation (CSFM) network in which a sequence of feature-modulation memory (FMM) modules is cascaded with a densely connected structure to transform low-resolution features to high informative features. In each FMM module, we construct a set of channel-wise and spatial attention residual (CSAR) blocks and stack them in a chain structure to dynamically modulate multi-level features in a global-and-local manner. This feature modulation strategy enables the high contribution information to be enhanced and the redundant information to be suppressed. Meanwhile, for long-term information persistence, a gated fusion (GF) node is attached at the end of the FMM module to adaptively fuse hierarchical features and distill more effective information via the dense skip connections and the gating mechanism. Extensive quantitative and qualitative evaluations on benchmark datasets illustrate the superiority of our proposed method over the state-of-the-art methods.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）の表現能力に限界がある超解像処理において、多様な特徴タイプを区別的に処理できるようにすること。
• 深層ネットワークにおける長期間の情報伝達を向上させ、層間で階層的特徴を保持すること。
• 段階的な残差ブロック設計において、チャネル別および空間的注意を統合することで特徴調制を向上させること。
• 既存手法と比較してモデルの複雑さを低減しつつ、優れた再構成品質を達成すること。

提案手法

• CSFMネットワークは、特徴表現を強化するため、スタックされた特徴調制メモリ（FMM）モジュールを用いた密接に接続されたアーキテクチャを採用する。
• 各FMMモジュールには、グローバルおよびローカルの注意を適用して多段階の特徴を調制するチャネル別および空間的注意残差（CSAR）ブロックの連鎖が含まれる。
• CSARブロックは、残差学習フレームワーク内にチャネル別注意と空間的注意を統合し、重要な特徴を適応的に強調する。
• 各FMMモジュールの終端にゲート付き融合（GF）ノードを導入し、学習可能なゲートと密なスキップ接続を用いて階層的特徴を統合する。
• ネットワークは、最終的なアップスケーリングの前に低解像度入力からの特徴を直接処理するポストアップスケーリング方式を採用する。
• モデルは、ベンチマークデータセット上で知覚的損失と再構成損失を用いてエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークは、超解像処理において、高周波成分と低周波成分といった異なる種類の特徴をどのようによりよく区別し、調制できるか？
• RQ2 非常に深いネットワークにおいて、画像修復の文脈で長期的な文脈的情報を効果的に保持するメカニズムは何か？
• RQ3 段階的な注意メカニズムは、モデルの冗長性を増加させることなく、特徴表現を向上させることができるか？
• RQ4 提案されたゲート付き融合機構は、階層的特徴の保持において、標準的なスキップ接続と比較してどのように異なるか？

主な発見

• Urban100データセットでは、2×、3×、4×のアップスケーリング倍率において、EDSRおよびRDNよりもそれぞれ0.19dB、0.18dB、0.14dBのPSNR向上を達成した。
• Manga109データセットでは、2×、3×、4×のスケールでEDSRよりもそれぞれ0.21dB、0.32dB、0.29dBのPSNR向上を示し、繊細な構造を持つ画像において優れた性能を発揮した。
• CSFMモデルは、EDSRとRDNよりもそれぞれ72%および47%の少ないパラメータで、より高いPSNRを達成し、優れた効率性を示した。
• 視覚的結果では、CSFMはアーティファクトや歪みを低減し、他の手法と比較してよりシャープなテクスチャとより明確に識別可能なディテールを生成した。
• アブレーションスタディの結果、CSARブロックとGFノードの両方が性能向上に顕著な寄与をしていることが確認された。