[論文レビュー] Image Super-Resolution with Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars Mining

Yiqun Mei, Yuchen Fan+4 more|arXiv (Cornell University)|Jun 2, 2020

Advanced Image Processing Techniques参考文献 48被引用数 42

ひとこと要約

本論文は、クロススケールの非局所注意機構を提案し、高周波のディテールを画像超解像で保持し、素朴なクロススケールおよび同スケール approachesを上回る。Set14のPSNR（×2）で優れた性能を示し、Urban100およびManga109で定性的改善を達成。

ABSTRACT

Deep convolution-based single image super-resolution (SISR) networks embrace the benefits of learning from large-scale external image resources for local recovery, yet most existing works have ignored the long-range feature-wise similarities in natural images. Some recent works have successfully leveraged this intrinsic feature correlation by exploring non-local attention modules. However, none of the current deep models have studied another inherent property of images: cross-scale feature correlation. In this paper, we propose the first Cross-Scale Non-Local (CS-NL) attention module with integration into a recurrent neural network. By combining the new CS-NL prior with local and in-scale non-local priors in a powerful recurrent fusion cell, we can find more cross-scale feature correlations within a single low-resolution (LR) image. The performance of SISR is significantly improved by exhaustively integrating all possible priors. Extensive experiments demonstrate the effectiveness of the proposed CS-NL module by setting new state-of-the-arts on multiple SISR benchmarks.

研究の動機と目的

• 高周波情報をダウンサンプリングせずに、クロススケールの自己サンプルを活用して、超解像を改善する動機付け。
• 高解像度の特徴を維持するクロススケール非局所注意機構を導入する。
• 素朴なクロススケールおよび標準的な同スケール注意法に対して、定量的・定性的な改善を示す。

提案手法

• ターゲットスケールの特徴と対応する高解像度の自己サンプルをダウンサンプリングせずに結ぶ、クロススケール非局所注意を定義する。
• 注意を、空間位置の非局所和として、スケール認識特徴対を用いて定式化する（Eq. 3）。
• 高周波ディテールの保持の利点を示すため、素朴なクロススケール注意（Eq. 2）および同スケール注意（Eq. 1）と比較する。
• 標準的なSRベンチマーク（Set14, Urban100, Manga109）での実験結果を、PSNR/視覚比較を含めて提供する。

実験結果

リサーチクエスチョン

• RQ1 高周波情報を保持するクロススケール非局所注意は、SRにおいて素朴なクロススケールおよび同スケール手法を上回るか？
• RQ2 提案されたCSNLNは、定量指標（例：PSNR）と多様なデータセットでの定性的なディテール再現にどのように影響するか？

主な発見

• クロススケール非局所注意（CSNLN）は、Set14 ×2 のPSNR (33.74) が、素朴なクロススケール (33.65) および同スケール (33.62) より高い。
• 素朴なクロススケール注意は、同スケール注意に対してほとんど増分を提供せず、高周波ディテールを保持する重要性を浮き彫りにしている。
• Urban100およびManga109で、いくつかの最先端SR手法と比較して再構成されたディテールがより細かい。
• CSNLNは、高解像度の特徴マップと自己サンプルのヒントを維持することにより、高周波構造の再構成に改善を示す。