[論文レビュー] A Dynamic Residual Self-Attention Network for Lightweight Single Image Super-Resolution

Karam Park, Jae Woong Soh+1 more|arXiv (Cornell University)|Dec 8, 2021

Advanced Image Processing Techniques被引用数 7

ひとこと要約

本稿では、入力の統計に応じて特徴を適応的に組み合わせる動的残差注意（DRA）とパラメータフリーの残差自己注意（RSA）モジュールを用いて、動的残差接続を活用する軽量な単一画像超解像用の動的残差自己注意ネットワーク（DRSAN）を提案する。この手法は、最小限の計算コストで最先端の性能を達成し、既存の軽量モデルよりも最大0.12 dB高いPSNRを達成しながら、パラメータ数を低く抑えている。

ABSTRACT

Deep learning methods have shown outstanding performance in many applications, including single-image super-resolution (SISR). With residual connection architecture, deeply stacked convolutional neural networks provide a substantial performance boost for SISR, but their huge parameters and computational loads are impractical for real-world applications. Thus, designing lightweight models with acceptable performance is one of the major tasks in current SISR research. The objective of lightweight network design is to balance a computational load and reconstruction performance. Most of the previous methods have manually designed complex and predefined fixed structures, which generally required a large number of experiments and lacked flexibility in the diversity of input image statistics. In this paper, we propose a dynamic residual self-attention network (DRSAN) for lightweight SISR, while focusing on the automated design of residual connections between building blocks. The proposed DRSAN has dynamic residual connections based on dynamic residual attention (DRA), which adaptively changes its structure according to input statistics. Specifically, we propose a dynamic residual module that explicitly models the DRA by finding the interrelation between residual paths and input image statistics, as well as assigning proper weights to each residual path. We also propose a residual self-attention (RSA) module to further boost the performance, which produces 3-dimensional attention maps without additional parameters by cooperating with residual structures. The proposed dynamic scheme, exploiting the combination of DRA and RSA, shows an efficient trade-off between computational complexity and network performance. Experimental results show that the DRSAN performs better than or comparable to existing state-of-the-art lightweight models for SISR.

研究の動機と目的

• 軽量単一画像超解像（SISR）モデルにおける計算効率と再構成性能のバランスを改善すること。
• 多様な入力画像統計に適応できない固定構造の残差ネットワークの限界を克服すること。
• 入力コンテンツに応じて特徴統合重みを自動的に調整する動的残差接続機構を設計すること。
• モデルの複雑さを増加させずに特徴表現を向上させるパラメータフリーの注意メカニズムを開発すること。
• 最小限のパラメータ数とFLOPsで軽量SISR分野における最先端の性能を達成すること。

提案手法

• 入力画像の統計に基づいて残差パスの適応的融合重みを学習する動的残差注意（DRA）モジュールを提案する。
• 余分なパラメータを追加せずに、残差接続を用いて3次元の注意マップを生成する残差自己注意（RSA）モジュールを導入する。
• 学習可能なパrametersと活性化関数（Tanhまたはなし）を備えた動的残差ゲート（DRG）を用い、残差特徴を動的にスケーリング・再キャリブレーションする。
• 2つの残差グループを統合した軽量なネットワークアーキテクチャを採用し、DRAとRSAを組み合わせて効率的な特徴精錬を実現する。
• Sigmoid活性化関数を避けることで特徴の多様性を維持し、性能を向上させる学習可能なスケーリング機構をDRGに組み込む。
• DRAとRSAを統合した動的残差ブロックにより、コンテンツに応じた特徴統合と強化された表現学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 入力統計に適応する動的残差接続は、モデルの複雑さを増さずに軽量SISR性能を向上させることができるか？
• RQ2 残差構造に基づくパラメータフリーの自己注意メカニズムは、軽量ネットワークにおける特徴表現をどのように向上させるか？
• RQ3 活性化関数の選択（例：Sigmoid対比Tanh対なし）が、SISRにおける動的残差ゲーティングの性能に与える影響は何か？
• RQ4 従来の注意メカニズム（チャネル注意（CA）、空間注意（SA）、ピクセル注意（PA））と比較して、提案された動的残差自己注意（DRSA）は精度と効率の面でどのように優れているか？
• RQ5 提案された動的残差および注意メカニズムは、画像修復タスクにおける他の軽量CNNアーキテクチャへ一般化可能か？

主な発見

• 提案されたDRSANは、Urban100データセット（×2）で32.18 dBのPSNRを達成し、ベースラインを0.12 dB上回り、既存の軽量モデルを上回っている。
• RSAモジュールはパラメータを追加せずに0.12 dBの性能向上を達成し、その効率性と有効性を示している。
• DRGで双曲正接関数または活性化関数なしを用いることで、Sigmoidを用いる場合よりも優れた結果が得られ、後者は特徴の多様性を制限する。
• DRSAモジュールは、パラメータ数がわずか2K増加するのみでベースライン比0.12 dBのPSNR向上を達成し、CA、SA、PAのすべてのメカニズムを精度と効率の両面で上回っている。
• アブレーションスタディにより、単純にすべての残差特徴を連結すると性能が低下することが確認され、DRAによる適応的重み付けの必要性が裏付けられた。
• Set5、Set14、BSDS100、Urban100の複数のベンチマークで強力な性能を維持しており、ロバストネスと一般化能力を示している。