[論文レビュー] Image Super-Resolution Using Attention Based DenseNet with Residual Deconvolution

Zhuangzi Li|arXiv (Cornell University)|Jul 3, 2019

Advanced Image Processing Techniques参考文献 27被引用数 10

ひとこと要約

本稿では、残差デコンボリューションを組み合わせたアテンションベースのDenseNetに裏付けられた、エンドツーエンドの画像スーパーレゾリューションフレームワーク、ADRDを提案する。特徴の適応的融合を可能にする重み付き畳み込みブロック、周波数の高い領域に注目する空間アテンションモジュール、高周波数成分の正確なアップサンプリングを実現する残差デコンボリューション戦略を導入し、定量的および定性的な両面で、ベンチマークデータセットにおいて最先端の性能を達成した。

ABSTRACT

Image super-resolution is a challenging task and has attracted increasing attention in research and industrial communities. In this paper, we propose a novel end-to-end Attention-based DenseNet with Residual Deconvolution named as ADRD. In our ADRD, a weighted dense block, in which the current layer receives weighted features from all previous levels, is proposed to capture valuable features rely in dense layers adaptively. And a novel spatial attention module is presented to generate a group of attentive maps for emphasizing informative regions. In addition, we design an innovative strategy to upsample residual information via the deconvolution layer, so that the high-frequency details can be accurately upsampled. Extensive experiments conducted on publicly available datasets demonstrate the promising performance of the proposed ADRD against the state-of-the-arts, both quantitatively and qualitatively.

研究の動機と目的

• 画像スーパーレゾリューションの不適切な定式化を改善し、特徴表現と高周波数成分の回復を向上させること。
• 従来の密度ネットワークが階層的特徴を均等に扱うという限界を克服し、情報量の多い特徴の適応的選択を可能にすること。
• 新規の空間アテンション機構により、エッジやテクスチャなどの高周波数成分のモデリングを強化すること。
• 高周波数成分のアップサンプリング精度を向上させるために、デコンボリューションプロセスを再設計し、残差情報に焦点を当てる戦略を採用すること。
• 標準ベンチマークで最先端の手法を上回る、強固で効果的なディーブラーニングフレームワークの開発

提案手法

• 重み付き畳み込みブロック（WDB）を提案。すべての先行層からの特徴が、現在の層に適応的重み付けされ、連結されることで特徴表現を強化する。
• 空間アテンション（SA）モジュールを導入。WDB内の残差特徴から学習することで、情報量の多い領域を強調するアテンションマップを生成する。
• SAモジュールは、圧縮された特徴に加算される残差出力を生成し、高周波数コンテンツを強調する強化された特徴マップを実現する。
• 高周波数残差成分のみをアップサンプリングする革新的な残差デコンボリューション戦略を設計。低周波数情報はバイパスされ、微細なディテールが保持される。
• 各WDBグループの入力と強化された特徴の間にスキップ接続を設け、学習の安定化と勾配の流れの改善を図る。
• 各WDBグループの後には、特徴の圧縮と次元削減を目的としたボトルネック層を設け、最終的に再構成層でHR画像を生成する。

実験結果

リサーチクエスチョン

• RQ1 一様な特徴集約と比較して、畳み込みブロック内の適応的特徴重み付けが、画像スーパーレゾリューションにおける特徴表現を向上させるか？
• RQ2 高周波数領域に注目する空間アテンション機構が、超解像画像におけるエッジやテクスチャの保存に寄与するか？
• RQ3 高周波数ディテールに焦点を当てた残差デコンボリューション戦略が、標準デコンボリューションを上回るアップサンプリング品質を実現できるか？
• RQ4 標準ベンチマークにおいて、提案されたADRDフレームワークはPSNRと知覚的品質の両面で、最先端の手法と比較してどのように差をつけるか？
• RQ5 ADRDによる強化された特徴表現は、低解像度画像認識などの後続タスクにおいて、どの程度性能を向上させるか？

主な発見

• Set5データセットにおいて、ノイズレベル $5 \times 10^{-5}$ の条件下でPSNRが31.90を達成し、RDNやD-DBPNを含むすべての比較手法を上回った。
• Set5データセットにおいて、高いノイズレベル $5 \times 10^{-4}$ の条件下でも、PSNRが29.69を維持し、他のモデルと比較して優れたノイズ耐性を示した。
• 視覚的比較では、bicubic、LapSRN、RDN、D-DBPNと比較して、ADRDがエッジや細かい模様のような複雑な領域において、より多くの局所的ディテールとテクスチャを保持していた。
• Pairs & Oxfordデータセットにおける認識タスクでは、ADRDがTop-1正答率を2.3%向上させ、RDNの1.2%向上を大きく上回った。
• Set5における1枚あたりの平均推論時間は0.17秒であり、モデルの複雑さを考慮しても、効率的な推論速度を示した。
• アブレーションスタディの結果、重み付き畳み込みブロック、空間アテンション、残差デコンボリューションの各構成要素が、全体の性能向上に寄与していることが確認された。