[論文レビュー] MASA-SR: Matching Acceleration and Spatial Adaptation for Reference-Based Image Super-Resolution

Liying Lu, Wenbo Li+3 more|arXiv (Cornell University)|Jun 4, 2021

Advanced Image Processing Techniques参考文献 32被引用数 9

ひとこと要約

MASA-SRは、粗くから細かくまでの照合スキームにより計算コストを低減するとともに、空間的に適応する特徴再マッピングモジュールを用いて、参照画像と低分解能画像間の分布シフトに対して高いロバスト性を発揮する、新しい参照ベース画像超解像ネットワークを提案する。2桁のFLOPS削減を達成し、複数のデータセットでPSNR/SSIMが向上する最先端の性能を実現する。

ABSTRACT

Reference-based image super-resolution (RefSR) has shown promising success in recovering high-frequency details by utilizing an external reference image (Ref). In this task, texture details are transferred from the Ref image to the low-resolution (LR) image according to their point- or patch-wise correspondence. Therefore, high-quality correspondence matching is critical. It is also desired to be computationally efficient. Besides, existing RefSR methods tend to ignore the potential large disparity in distributions between the LR and Ref images, which hurts the effectiveness of the information utilization. In this paper, we propose the MASA network for RefSR, where two novel modules are designed to address these problems. The proposed Match & Extraction Module significantly reduces the computational cost by a coarse-to-fine correspondence matching scheme. The Spatial Adaptation Module learns the difference of distribution between the LR and Ref images, and remaps the distribution of Ref features to that of LR features in a spatially adaptive way. This scheme makes the network robust to handle different reference images. Extensive quantitative and qualitative experiments validate the effectiveness of our proposed model.

研究の動機と目的

• 参照ベース超解像（RefSR）における密なピクセルペアマッチングの高い計算コストを、効率的な対応関係マッチング機構の設計により低減すること。
• 低分解能画像と参照画像間の分布不一致（例：輝度、色）が特徴転送を損なう問題を改善すること。
• 高周波成分の高効率かつ効果的な転送を可能にするために、適応的特徴アライメントを実現すること。
• ベンチマークデータセットにおいて、定量的指標と視覚的品質の両面で最先端の性能を達成すること。

提案手法

• 局所的な参照ブロックに制限された探索空間により、粗くから細かくまでの対応関係マッチングを実行する「マッチング＆抽出モジュール（MEM）」を導入し、FLOPSを2桁削減する。
• 自然画像に内在する局所的整合性を活用して、ピクセルマッチングを空間的に整合性のある領域に限定することで、精度を損なわずに効率性を向上させる。
• 空間的に適応的に、参照特徴の分布を低分解能特徴の分布に合わせて再マッピングする「空間的適応モジュール（SAM）」を提案する。
• 異なる輝度や色条件においても、特徴分布のアライメントを実現し、多様な参照画像に対するロバスト性を向上させる。
• 低分解能ブランチと参照ブランチからの特徴を別々に処理し、統合する「デュアルリーマンダスアグリゲーションモジュール（DRAM）」を統合し、特徴統合の効率を向上させる。
• 視覚的リアルリズムと構造的忠実度を向上させるために、知覚的損失および対抗的損失を用いてエンドツーエンドのネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 参照ベース超解像における対応関係マッチングを、マッチング品質を損なわせることなく、著しく計算コストを低減することは可能か？
• RQ2 低分解能画像と参照画像間の分布不一致が特徴転送に与える影響はどの程度であり、どのように緩和可能か？
• RQ3 空間的に適応する正規化モジュールは、参照画像の輝度や色分布が低分解能画像と異なる場合に、ロバスト性を向上させることができるか？
• RQ4 粗くから細かくまでのマッチングと分布アライメントは、RefSRにおける定量的および定性的な性能にどのような影響を与えるか？

主な発見

• マッチング＆抽出モジュールは、密なピクセルペアマッチングと比較してFLOPSを約2桁削減し、1×1ブロックサイズでは787.77G FLOPSにまで低下し、最適設定では10.5Gにまで低下する。
• 空間的適応モジュールは、ベースラインと比較してPSNRを0.22 dB、SSIMを0.007向上させ、パラメータ増加はわずか0.15M増加にとどまる。
• CUFED5データセットでは、PSNRが27.54 dB、SSIMが0.814を達成し、両指標で先行する最先端手法を上回る性能を示す。
• 定性的な結果では、特に挑戦的な参照画像条件下でも、SRNTT や TTSR と比較して、より現実的で詳細なテクスチャを生成する。
• 異なる輝度（例：Ref’）を持つ参照画像に対しても、MASA-SRは一貫した性能を維持するが、ベースラインモデルはこのようなシフト条件下で著しく性能が低下する。
• アブレーションスタディの結果、空間的適応モジュールおよびデュアルリーマンダスアグリゲーションモジュールが最適性能を発揮するために不可欠であることが確認され、DRAMは単純な連結処理よりもPSNRで0.11 dB優れている。