[論文レビュー] MAANet: Multi-view Aware Attention Networks for Image Super-Resolution

Jingcai Guo, Shiheng Ma+1 more|arXiv (Cornell University)|Apr 12, 2019

Advanced Image Processing Techniques参考文献 32被引用数 5

ひとこと要約

本稿では、低解像度特徴量に局所的およびグローバルな注目メカニズムを適用することで高周波成分の回復を向上させる、画像超解像のためのマルチビュー認識注意ネットワークMAANetを提案する。局所認識（LA）およびグローバル認識（GA）注目と、新規の局所的注意残差密接続（LARD）ブロックを統合することで、MAANetはベンチマークデータセットにおいて最先端の性能を達成し、特に4×超解像においてPSNRおよびSSIMの顕著な向上を示す。

ABSTRACT

In most recent years, deep convolutional neural networks (DCNNs) based image super-resolution (SR) has gained increasing attention in multimedia and computer vision communities, focusing on restoring the high-resolution (HR) image from a low-resolution (LR) image. However, one nonnegligible flaw of DCNNs based methods is that most of them are not able to restore high-resolution images containing sufficient high-frequency information from low-resolution images with low-frequency information redundancy. Worse still, as the depth of DCNNs increases, the training easily encounters the problem of vanishing gradients, which makes the training more difficult. These problems hinder the effectiveness of DCNNs in image SR task. To solve these problems, we propose the Multi-view Aware Attention Networks (MAANet) for image SR task. Specifically, we propose the local aware (LA) and global aware (GA) attention to deal with LR features in unequal manners, which can highlight the high-frequency components and discriminate each feature from LR images in the local and the global views, respectively. Furthermore, we propose the local attentive residual-dense (LARD) block, which combines the LA attention with multiple residual and dense connections, to fit a deeper yet easy to train architecture. The experimental results show that our proposed approach can achieve remarkable performance compared with other state-of-the-art methods.

研究の動機と目的

• 低周波冗長性を示す低解像度（LR）画像からの高周波成分の復元に限界を示す深層畳み込みニューラルネットワーク（DCNNs）の課題に対処する。
• 画像超解像のための学習可能でより深いアーキテクチャを設計することで、深層ネットワークにおける消失勾配問題を克服する。
• 局所的およびグローバルな文脈において特徴の識別能を向上させ、高解像度画像再構成を改善する。
• 低解像度入力における局所的およびグローバルな特徴表現に異なる対応をとる軽量かつ効果的な注目メカニズムを開発する。

提案手法

• 局所的特徴マップ内での高周波成分を強調するために、空間的に適応的な重みを学習する局所認識（LA）注目を提案する。
• チャネル次元全体の特徴マップを再重み付けすることで、グローバル文脈における情報量の多い特徴を強調するグローバル認識（GA）注目を導入する。
• LA注目と複数の残差接続および密接続を統合した局所的注意残差密接続（LARD）ブロックを設計し、学習の安定化とより深いネットワーク深さの実現を図る。
• スタックされたアーキテクチャにLARDブロックを適用し、低解像度入力からの特徴を段階的に抽出および精錬する。
• 可学習アップサンプリングモジュールを用いて高解像度特徴マップを生成し、その後、再構成ヘッドを介して最終的な高解像度出力を得る。
• YCbCr変換後のYチャンネルにおけるL1損失を用いて学習を実行し、知覚的および定量的忠実度を最適化する。

実験結果

リサーチクエスチョン

• RQ1 局所的およびグローバルな注目メカニズムは、超解像処理における低解像度画像からの高周波成分回復を向上させることができるか？
• RQ2 残差接続および密接続と統合された注目メカニズムは、深層超解像ネットワークにおける学習の安定性と性能にどのように影響するか？
• RQ3 提案されたMAANetアーキテクチャは、定量的指標（PSNR/SSIM）および定性的な視覚的品質の両面で、既存の最先端手法を上回るか？
• RQ4 2×から4×超解像に拡張する際、マルチビュー注目はどの程度の恩恵をもたらすか？
• RQ5 LARDブロックは、消失勾配や学習不安定性を伴わずに、より深いネットワークアーキテクチャの実現を可能にするか？

主な発見

• MAANetは、Set5、Set14、Urban100、Manga109、DIV2Kの5つのベンチマークデータセットにおいて、2×および4×超解像の両方で最先端の性能を達成した。
• 4×超解像において、Set5ではPSNRが32.87 dB、Urban100では29.35 dBを達成し、RDN や DBPN といった以前の最先端手法を上回った。
• 特に複雑なテクスチャや細かい構造（例：Manga109のストライプやライン）において、SSIMの顕著な向上を示した。
• 視覚的比較では、MAANetがシャープなエッジとより良好に保持された細部を生成しており、特に小さなパターンや平行線領域で顕著であった。
• アブレーションスタディにより、LAおよびGA注目が性能向上に独立して寄与していることが確認され、LARDブロックがより深いおよびより安定した学習を可能にした。
• 自然風景、顔、線画など多様な画像タイプにわたり、強力な汎化性能を維持していたことから、モデルの頑健な一般化能力が示された。