[論文レビュー] Swift Parameter-free Attention Network for Efficient Super-Resolution

Cheng Wan, Hongyuan Yu+6 more|arXiv (Cornell University)|Nov 21, 2023

Advanced Image Processing Techniques被引用数 7

ひとこと要約

SPANは対称活性化と残差を用いて構築されたパラメータフリーの注意機構を導入し、SISRにおける高周波ディテールを強化しつつ、パラメータ数を低く保ち推論を高速化します。

ABSTRACT

Single Image Super-Resolution (SISR) is a crucial task in low-level computer vision, aiming to reconstruct high-resolution images from low-resolution counterparts. Conventional attention mechanisms have significantly improved SISR performance but often result in complex network structures and large number of parameters, leading to slow inference speed and large model size. To address this issue, we propose the Swift Parameter-free Attention Network (SPAN), a highly efficient SISR model that balances parameter count, inference speed, and image quality. SPAN employs a novel parameter-free attention mechanism, which leverages symmetric activation functions and residual connections to enhance high-contribution information and suppress redundant information. Our theoretical analysis demonstrates the effectiveness of this design in achieving the attention mechanism's purpose. We evaluate SPAN on multiple benchmarks, showing that it outperforms existing efficient super-resolution models in terms of both image quality and inference speed, achieving a significant quality-speed trade-off. This makes SPAN highly suitable for real-world applications, particularly in resource-constrained scenarios. Notably, we won the first place both in the overall performance track and runtime track of the NTIRE 2024 efficient super-resolution challenge. Our code and models are made publicly available at https://github.com/hongyuanyu/SPAN.

研究の動機と目的

• 高速で軽量なSRモデルが必要で、精度と推論速度のバランスを取る理由を動機づける。
• モデルの複雑さを削減するパラメータフリーの注意機構を提案する。
• 対称的な活性化と残差を用いた注意機構でSPANを開発し情報を保持する。
• 標準ベンチマークで既存の効率的SRモデルに対するSPANの有効性を示す。

提案手法

• SPAB（Swift Parameter-free Attention Block）を導入し、3つの3x3畳み込みと残差パスを使用する。
• 学習可能なパラメータなしで、対称原点中心の活性化を用いて畳み込み出力から直接注意マップを計算する。
• 特徴と注意を要素ごとの乗算で融合してSPAB出力を生成する。
• 六つのSPABをSPANに組み込み、特徴の連結とPixelShuffleアップサンプリングを行う。
• 再パラメータ化を適用して推論効率を最適化し、標準ベンチマークでPSNR/SSIMを報告する。

実験結果

リサーチクエスチョン

• RQ1 パラメータフリーの注意機構はモデルサイズを増やさずにSR性能を向上させることができるか？
• RQ2 対称原点中心の活性化はSRにおける注意の有効性にどう影響するか？
• RQ3 SPANと既存のESRモデルとの間で速度と精度のトレードオフはどうなるか？
• RQ4 パラメータフリーの注意を用いる場合、残差接続は情報の流れを安定させ、ディテールを保持するか？

主な発見

• SPANはSet5、Set14、BSD100、Urban100、Manga109で競争力のあるPSNR/SSIMを達成しつつパラメータ数を低く維持している。
• SPANとSPAN-Sは同等の性能で多くのESRモデルより推論速度が速い。
• NTIRE 2023のefficient SRチャレンジで、27.09 dBの最高PSNRを7.08 msの推論速度削減とともに達成。
• アブレーション研究は、残差接続とパラメータフリーの注意が品質と速度を改善し、それらなしのバリアントと比較して改善を示す。