[論文レビュー] Single Image Super-Resolution via a Holistic Attention Network

Ben Niu, Weilei Wen+7 more|arXiv (Cornell University)|Aug 20, 2020

Advanced Image Processing Techniques参考文献 40被引用数 85

ひとこと要約

本論文は、層間の相互依存性を捉えるため、Layer Attention Module (LAM) と Channel-Spatial Attention Module (CSAM) を備えた Holistic Attention Network (HAN) を提案し、層・チャネル・位置間の依存性を捉えることで単一画像超解像(SISR)を改善する。

ABSTRACT

Informative features play a crucial role in the single image super-resolution task. Channel attention has been demonstrated to be effective for preserving information-rich features in each layer. However, channel attention treats each convolution layer as a separate process that misses the correlation among different layers. To address this problem, we propose a new holistic attention network (HAN), which consists of a layer attention module (LAM) and a channel-spatial attention module (CSAM), to model the holistic interdependencies among layers, channels, and positions. Specifically, the proposed LAM adaptively emphasizes hierarchical features by considering correlations among layers. Meanwhile, CSAM learns the confidence at all the positions of each channel to selectively capture more informative features. Extensive experiments demonstrate that the proposed HAN performs favorably against the state-of-the-art single image super-resolution approaches.

研究の動機と目的

• チャネル中心のアテンションが見落としがちな層間相関を活用することで、SISR におけるテクスチャとディテールの保持を改善する動機づけ。
• 層・チャネル・空間の依存性を同時にモデリングする総合的なアテンションフレームワークを提案する。
• LAM と CSAM を RCAN ベースのバックボーンに統合し特徴表現を強化する。
• 標準的な SR ベンチマークで強力な定量的・質的改善を示す。

提案手法

• 低解像度入力から多レベル特徴を抽出するために RCAN をバックボーンとして用いる。
• Layer Attention Module (LAM) を導入し、異なる residual group (RG) からの中間特徴グループ間の相関を学習する。
• Channel-Spatial Attention Module (CSAM) を導入し、最終特徴マップに対するチャネルと空間の結合依存性を学習する。
• LAM と CSAM の出力を要素ごとの和で統合し、サブピクセル畳み込みアップサンプリングブロックで高解像度画像を再構成する。
• RGB-LR から HR への写像に対して L1 損失で学習する；YCbCr 空間で動作し、PSNR/SSIM は輝度成分で評価する。

実験結果

リサーチクエスチョン

• RQ1 階層的特徴間の層間関係をどのように活用して SR の性能を向上させることができるか？
• RQ2 チャネル空間のアテンション機構を結合して SR における有用なテクスチャとディテールをより良く捉えられるか？
• RQ3 LAM と CSAM の組み込みが、ベースラインのアテンション手法と比較して再構成品質に与える影響はどのようなものか？

主な発見

• 提案手法 HAN は、標準的な劣化モデル下でベンチマークデータセットにおいて最先端の SISR 手法を上回る。
• アブレーションにより LAM が顕著な PSNR/SSIM 増分に寄与し、CSAM によって追加の改善が得られる。
• LAM と CSAM の両方を用くと最良の性能と、定性的結果での構造的ディテールがより明瞭になる。
• 自己アンサンブル版 HAN+ はスケールを横断して結果をさらに改善する。
• 敵対的損失や知覚損失を用いず、シンプルな L1 損失に依存する形で競争力を維持している。