[論文レビュー] Hierarchical Residual Attention Network for Single Image Super-Resolution

Parichehr Behjati, Pau Rodríguez+4 more|arXiv (Cornell University)|Dec 8, 2020

Advanced Image Processing Techniques参考文献 39被引用数 4

ひとこと要約

本稿では、階層的特徴および注目メカニズムのバンクを用いて高周波成分を保持する、軽量な単一画像超解像モデルである階層的残差注意ネットワーク（HRAN）を提案する。並列な残差パスと注目パスを採用し、残差ブロックからの注目計算を分離することで、特徴の統合中に高周波成分の損失を低減する。HRANは、すべての残差ブロックからの特徴を統合することで、計算コストを最小限に抑えつつ、SOTA（最先端）の性能を達成し、Urban100データセットの×4スケールでResNetより最大0.21 dB、EDSRより0.3 dB高いPSNRを達成する。

ABSTRACT

Convolutional neural networks are the most successful models in single image super-resolution. Deeper networks, residual connections, and attention mechanisms have further improved their performance. However, these strategies often improve the reconstruction performance at the expense of considerably increasing the computational cost. This paper introduces a new lightweight super-resolution model based on an efficient method for residual feature and attention aggregation. In order to make an efficient use of the residual features, these are hierarchically aggregated into feature banks for posterior usage at the network output. In parallel, a lightweight hierarchical attention mechanism extracts the most relevant features from the network into attention banks for improving the final output and preventing the information loss through the successive operations inside the network. Therefore, the processing is split into two independent paths of computation that can be simultaneously carried out, resulting in a highly efficient and effective model for reconstructing fine details on high-resolution images from their low-resolution counterparts. Our proposed architecture surpasses state-of-the-art performance in several datasets, while maintaining relatively low computation and memory footprint.

研究の動機と目的

• 単一画像超解像（SISR）に用いられる深層残差ネットワークにおける高周波成分の劣化を是正すること。
• 再構成品質を損なわずに、SISRモデルにおける計算コストおよびメモリコストを低減すること。
• 局所的注目機構が特徴統合中に関連する特徴を破棄するための情報損失を回避すること。
• 専用の特徴バンクおよび注目バンクを導入することで、ネットワークの階層的構造全体における特徴の有効利用を向上させること。
• パrameter数が同程度の最先端モデルを上回るPSNR性能を達成する、軽量で効率的なアーキテクチャの開発

提案手法

• 残差ブロックと軽量チャネル注目（LCA）ブロックを並列パスにスタックするResidual Attention Feature Groups（RAFGs）を導入する。
• すべての残差ブロックからの出力を集約する階層的特徴バンクを用い、マルチレベル表現を保持する。
• 別個の注目バンクを採用し、専用の計算パスを通じて最も関連性の高い特徴を抽出・保持する。
• 3つの残差ブロックごとに1×1畳み込みを適用し、効率的な特徴統合と勾配伝播を実現する。
• 残差ブロックからの注目計算を分離することで、残差加算の過程で高周波成分が損失するのを回避する。
• 残差特徴学習用と注目ベースの特徴精錬用の2つの独立したパスを設計し、並列処理を可能にする。

実験結果

リサーチクエスチョン

• RQ1 専用の注目パスを備えた並列アーキテクチャは、深層SISRネットワークにおける特徴保持を改善できるか？
• RQ2 残差ブロックから注目計算を分離することで、特徴伝搬中の情報損失が低減するか？
• RQ3 階層的特徴バンクおよび注目バンクは、モデルの複雑さを増さずに再構成品質を向上させられるか？
• RQ4 本稿で提案するRAFG設計は、標準的な残差スタックと比較してPSNRおよび計算コストの面で優れているか？
• RQ5 特徴バンクおよび注目バンクは、SISRモデルにおける性能向上にどの程度寄与しているか？

主な発見

• HRANは、×4スケールでSet14では28.76 dB、Urban100では26.39 dBのPSNRを達成し、パrameter数が同程度のEDSRおよびRCANを上回る。
• 提案された階層的特徴バンクにより、標準的なResNetベースライン（26.03 dB → 26.24 dB）に対して0.21 dBのPSNR向上が達成され、追加パrameterは65Kにとどまる。
• 特徴バンクおよび注目バンクを削除すると、平均でPSNRが0.06 dB低下し、それらが特徴精錬に肯定的影響を与えていることを確認した。
• 提案された並列注目メカニズム（LCA）は、Set14で28.76 dB、Urban100で26.39 dBのPSNRを達成し、局所的注目と比較して0.07 dB高い性能を示した。
• LCAメカニズムは、追加パrameterが66Kにとどまる一方で、局所的注目より0.07 dB高いPSNRを達成し、効率性と有効性を示した。
• HRANは計算およびメモリのフットプリントを低く保ち、リソース制限のあるデバイスへの実世界での展開に適している。