[論文レビュー] Efficient Image Super-Resolution Using Pixel Attention

Hengyuan Zhao, Xiangtao Kong+3 more|arXiv (Cornell University)|Oct 2, 2020

Advanced Image Processing Techniques参考文献 46被引用数 43

ひとこと要約

PAN はピクセルアテンション (PA) を導入して軽量 SR ネットワークを構築し、ベースの軽量モデルよりはるかに少ないパラメータ数で競合的な PSNR を達成。 主ブランチには SC-PA ブロック、再構成には U-PA ブロックを含む。

ABSTRACT

This work aims at designing a lightweight convolutional neural network for image super resolution (SR). With simplicity bare in mind, we construct a pretty concise and effective network with a newly proposed pixel attention scheme. Pixel attention (PA) is similar as channel attention and spatial attention in formulation. The difference is that PA produces 3D attention maps instead of a 1D attention vector or a 2D map. This attention scheme introduces fewer additional parameters but generates better SR results. On the basis of PA, we propose two building blocks for the main branch and the reconstruction branch, respectively. The first one - SC-PA block has the same structure as the Self-Calibrated convolution but with our PA layer. This block is much more efficient than conventional residual/dense blocks, for its twobranch architecture and attention scheme. While the second one - UPA block combines the nearest-neighbor upsampling, convolution and PA layers. It improves the final reconstruction quality with little parameter cost. Our final model- PAN could achieve similar performance as the lightweight networks - SRResNet and CARN, but with only 272K parameters (17.92% of SRResNet and 17.09% of CARN). The effectiveness of each proposed component is also validated by ablation study. The code is available at https://github.com/zhaohengyuan1/PAN.

研究の動機と目的

• 軽量モデルによる効率的な単一画像超解像(SISR)を動機付ける。
• 最小限のパラメータで3Dアテンションマップを生成するピクセルアテンション(PA)を提案する。
• 主経路へ Self-Calibrated畳み込みブロック(SC-PA)にPAを統合する。
• 最近傍補間を用いたアップサンプリング中に PA を適用する再構成ブロック(U-PA)を導入する。
• パラメータ数を大幅に削減しつつ、軽量 SR モデルと競合する性能を示す。

提案手法

• 1x1畳み込み+シグモイドで生成される3DアテンションマップとしてPAを導入する。
• PAをSelf-Calibrated畳み込みフレームワークに組み込み、SC-PAブロック（二分岐構造）を形成する。
• U-PAブロック（最近傍アップsampling、畳み込み、PA、畳み込み）を用いて再構成/アップサンプリングブランチにPAを適用する。
• 特徴抽出、非線形マッピング（積み重ねたSC-PAブロック）、再構成（U-PAブロック）の3つのモジュールからPANネットワークを構築する。
• 最終 SR 融合のために LR 入力の双一次補間を用いたグローバルスキップ経路を使用する: I_SR = rec(x_n) + up(I_LR).
• L1損失、Adam最適化、コサインアニーリング学習率スケジュール、トレーニングデータとしてDIV2K/Flickr2K、標準5ベンチマーク評価を使用して訓練。

実験結果

リサーチクエスチョン

• RQ1 パラメータ予算約272Kの軽量SRネットワークは、SRResNetやCARNなど既存の軽量モデルと同等以上の性能を発揮できるか？
• RQ2 小型ネットワークにおいて、ピクセルアテンション(PA)はチャネルアテンションや空間アテンションよりSRに有効なアテンション機構を提供するか？
• RQ3 PAをメインSCブロックへ組み込むのと、再構成アップサンプリング段へ組み込むのとで影響はどうなるか？
• RQ4 提案手法PANは、標準SRベンチマークと倍率（×2、×3、×4）で性能とパラメータ数のバランスをどうとるか？

主な発見

• PANはSRResNet (~1.37M) や CARN (~1.59M)よりはるかに少ないパラメータながら、競争力のPSNR/SSIMを達成。
• PAは軽量ネットワークのアブレーションでチャネル注意と空間注意を上回る。
• SC-PA (PA付きSelf-Calibrated) は基準RB-PAよりPSNRを向上させ、パラメータコストが比較的少ないながら有意な改善をもたらす。
• SC-PAとU-PAの両方にPAを用いることでSR性能が向上し、ベンチマーク試験でPSNRが改善。
• PAは小型モデルに特に有益であり、トレーニング戦略と冗長性が大きく関与する場合には大規模ネットワークでは影響が小さくなる可能性がある。