[論文レビュー] Global Learnable Attention for Single Image Super-Resolution

Jian-Nan Su, Min Gan+3 more|arXiv (Cornell University)|Dec 2, 2022

Advanced Image Processing Techniques被引用数 5

ひとこと要約

本稿では、単一画像超解像（SISR）のための新規アテンションメカニズムであるグローバル可学習アテンション（GLA）を提案する。GLAは学習中に非局所的テクスチャ類似度を再重み付けすることで、重度に損傷した領域の修復時に類似度が低いがより正確なテクスチャを優先できる。GLAはスーパー・ビット局所性に敏感なハッシュ（SB-LSH）を用いて線形計算複雑度を達成し、多様な劣化タイプ（ぼやけ、ノイズ）において最先端の性能を発揮する。また、GLAは深層可学習類似度ネットワーク（DLSN）に統合され、ベンチマークデータセット上で既存手法を上回る性能を発揮する。

ABSTRACT

Self-similarity is valuable to the exploration of non-local textures in single image super-resolution (SISR). Researchers usually assume that the importance of non-local textures is positively related to their similarity scores. In this paper, we surprisingly found that when repairing severely damaged query textures, some non-local textures with low-similarity which are closer to the target can provide more accurate and richer details than the high-similarity ones. In these cases, low-similarity does not mean inferior but is usually caused by different scales or orientations. Utilizing this finding, we proposed a Global Learnable Attention (GLA) to adaptively modify similarity scores of non-local textures during training instead of only using a fixed similarity scoring function such as the dot product. The proposed GLA can explore non-local textures with low-similarity but more accurate details to repair severely damaged textures. Furthermore, we propose to adopt Super-Bit Locality-Sensitive Hashing (SB-LSH) as a preprocessing method for our GLA. With the SB-LSH, the computational complexity of our GLA is reduced from quadratic to asymptotic linear with respect to the image size. In addition, the proposed GLA can be integrated into existing deep SISR models as an efficient general building block. Based on the GLA, we constructed a Deep Learnable Similarity Network (DLSN), which achieves state-of-the-art performance for SISR tasks of different degradation types (e.g. blur and noise). Our code and a pre-trained DLSN have been uploaded to GitHub† for validation.

研究の動機と目的

• 既存のSISR手法が、類似度が高い非局所的テクスチャが常に情報量が多いと仮定しているという限界を是正すること。
• 重度に損傷した領域の修復に、類似度が低いが詳細が豊富で正確な非局所的テクスチャを効果的に活用できるように、深層SISRモデルを設計すること。
• SISRにおける非局所アテンションの2次関数的計算複雑度を、スーパー・ビット局所性に敏感なハッシュ（SB-LSH）を導入することで線形に低減すること。
• 既存の深層SISRアーキテクチャに容易に統合可能な汎用的で効率的なアテンションモジュール（GLA）を設計すること。
• 本手法の頑健性と有効性を、ぼやけ、ノイズ、実世界のアーチファクトを含む多様な劣化タイプにわたって検証すること。

提案手法

• クエリと非局所特徴間の類似度スコアを学習によって変更する、グローバル可学習アテンション（GLA）モジュールを提案。ドット積のような固定関数に依存するのではなく、学習中に類似度スコアを変更する。
• 非局所特徴の重要性を、損傷したクエリ領域の修復に寄与する関連性に基づいて動的に調整する可学習アテンションメカニズムを導入。類似度スコアが低くても、関連性が高い場合に有効に機能する。
• GLAの計算複雑度を、画像サイズに関して漸近的O(n)にまで低下させるために、スーパー・ビット局所性に敏感なハッシュ（SB-LSH）を採用。
• GLAを深層SISRバックボーンに統合することで、エンド・ツー・エンド学習が可能になり、特徴統合が向上する深層可学習類似度ネットワーク（DLSN）を設計。
• 視覚的品質と詳細回復を向上させるために、知覚的損失と adversarial 損失の組み合わせを用いてモデルを訓練。
• ネットワークが初期類似度が低くても、より正確な非局所的テクスチャを発見し、優先できるように、可学習類似度再重み付けメカニズムを活用。

実験結果

リサーチクエスチョン

• RQ1 SISRにおいて、重度に損傷した画像領域の修復時に、類似度スコアが低い非局所的テクスチャが、類似度が高いものよりも正確で詳細な情報を提供できるか？
• RQ2 学習中に類似度スコアを再重み付けすることで、固定関数に依存する手法と比較してSISR性能が向上するか？
• RQ3 SISRにおける非局所アテンションの計算複雑度を、2次関数的から線形に低減できるか？
• RQ4 提案されたGLAモジュールは、既存の深層SISRモデルに汎用的なブロックとして効果的に統合できるか？
• RQ5 本手法は、ぼやけ、ノイズ、実世界のアーチファクトを含む多様な劣化タイプにおいて、どのように性能を発揮するか？

主な発見

• 提案されたDLSNは、ノイズ劣化下での×3スケーリングにおいて、Set14データセットで最先端の性能を達成。ノイズレベル10～25の全範囲で、FSRCNN、EDSR、RCANを上回る。
• ノイズ劣化下では、ノイズレベル10でPSNR 28.91/0.7903、レベル15で28.20/0.7671、レベル20で27.62/0.7463、レベル25で27.09/0.7279を達成。すべてのベースラインを一貫して上回る。
• ぼやけ・スケーリング劣化下では、正確なテクスチャを再現し、視覚的に最も洗練された結果を生成。EDSRや他の最先端モデルと比較して優れた品質を示す。
• JPEGアーチファクトを含む実世界の歴史的画像において、DLSNはDRLN や MS-LapSRN がストロークの整合性を保てない領域でも、鋭いエッジと構造的詳細（例：文字）を効果的に再構築した。
• GLAモジュールにより、モデルは類似度が低いが情報量の多いテクスチャ（例：損傷した髪の毛や建築的ディテール）に注目できるようになった。
• 強みがある一方で、入力領域が完全に破壊されている場合、モデルは細部を「想起」できない。これは他の最先端SISR手法とも共通する限界である。