[論文レビュー] Lightweight Single-Image Super-Resolution Network with Attentive Auxiliary Feature Learning

Xuehui Wang, Qing Wang+4 more|arXiv (Cornell University)|Nov 13, 2020

Advanced Image Processing Techniques参考文献 48被引用数 14

ひとこと要約

本稿では、以前の層からの注意付き補助特徴（A2F）を用いて特徴学習を強化する、軽量な単一画像超解像ネットワークA2F-SRを提案する。特徴を共通空間に投影し、チャネル注目機構を適用することで冗長な情報をフィルタリングし、320kパラメータ未塔で最先端の性能を達成。全スケールでPSNRおよびSSIMの両面で既存手法を上回った。

ABSTRACT

Despite convolutional network-based methods have boosted the performance of single image super-resolution (SISR), the huge computation costs restrict their practical applicability. In this paper, we develop a computation efficient yet accurate network based on the proposed attentive auxiliary features (A$^2$F) for SISR. Firstly, to explore the features from the bottom layers, the auxiliary feature from all the previous layers are projected into a common space. Then, to better utilize these projected auxiliary features and filter the redundant information, the channel attention is employed to select the most important common feature based on current layer feature. We incorporate these two modules into a block and implement it with a lightweight network. Experimental results on large-scale dataset demonstrate the effectiveness of the proposed model against the state-of-the-art (SOTA) SR methods. Notably, when parameters are less than 320k, A$^2$F outperforms SOTA methods for all scales, which proves its ability to better utilize the auxiliary features. Codes are available at https://github.com/wxxxxxxh/A2F-SR.

研究の動機と目的

• モバイルデバイスなどのリソース制約環境における、深層畳み込みニューラルネットワークベースの超解像モデルの高い計算コストを軽減すること。
• 複数の以前の層からの特徴を効果的に活用することで、軽量SISRネットワークの性能を向上させること。
• 大規模モデルや複雑な圧縮技術に依存せずに、高精度を維持するパラメータ効率の良いアーキテクチャを設計すること。
• すべての以前の層からの補助特徴が、適切に注目機構を組み合わせて統合されれば、軽量環境でも顕著な性能向上が達成できることを示すこと。

提案手法

• すべての以前の層からの特徴を1×1畳み込みを用いて共有の特徴空間に投影する注目付き補助特徴（A2F）ブロックを提案する。
• 現在の層の特徴マップに基づいて、投影された補助特徴の各チャネルの重要度を動的に重みづけるためのチャネル注目機構を適用する。
• 複数スケールにわたる効率的な特徴精錬を可能にするために、A2Fブロックを軽量な残差ネットワークアーキテクチャに統合する。
• 特徴を高解像度出力にアップサンプリングするために、ピクセルシャッフルを用いるサブピクセルデコンボリューションを採用する。
• 訓練の安定化と深層ネットワークにおける特徴学習の向上を図るため、残差接続を備えた段階的ブロック設計を採用する。
• 再構成画像のピクセルレベルおよび構造的忠実度を向上させるために、L1損失と知覚損失を最適化に用いる。

実験結果

リサーチクエスチョン

• RQ1 すべての以前の層からの補助特徴が、軽量SISRネットワークで効果的に活用可能であるか？
• RQ2 投影された補助特徴にチャネル注目を適用することで、標準的なスキップ接続と比較して、より優れた特徴選択と再構成品質が達成できるか？
• RQ3 320kパラメータ未満の軽量ネットワークが、複数のアップスケーリング要因において、既存のSOTA手法をPSNRおよびSSIMの両面で上回ることができるか？
• RQ4 パラメータ効率と性能の観点から、提案されたA2Fブロックは他の特徴統合機構と比較してどのように優れているか？

主な発見

• 320kパラメータ未満のA2F-SRは、Manga109データセットにおける×2スケールで34.23 dBのPSNRを達成し、このパラメータ制限下でのすべてのSOTA手法を上回った。
• ×4スケールでは、1.37Mパラメータで32.32 dBのPSNRを達成し、AWSRN や CARN といったSOTAモデルをパラメータ数が少ないにもかかわらずPSNRおよびSSIMの両面で上回った。
• アブレーションスタディにより、特徴投影とチャネル注目の両成分が不可欠であることが確認され、A2Fブロック全体が性能向上に顕著な寄与をした。
• ×2スケールにおいて、FSRCNN や SRCNN といったベースラインモデルと比較して、PSNRが3.5 dB向上したが、パラメータ数と推論コストは低く抑えられた。
• A2F-Lバージョンは、1.37Mパラメータで×2スケールで34.54 dBのPSNRを達成し、より高い複雑度レベルでも優れた性能を示した。
• 提案手法は、特に100万パラメータ未満の範囲で、モデルサイズと性能の最良のトレードオフを達成しており、その効率性とスケーラビリティを実証した。