[論文レビュー] Robust Reference-based Super-Resolution via C2-Matching

Yuming Jiang, Kelvin C. K. Chan+3 more|arXiv (Cornell University)|Jun 3, 2021

Advanced Image Processing Techniques参考文献 38被引用数 5

ひとこと要約

本稿では、スケール／回転不変性を実現する対照的対応ネットワークと、教師-生徒相関 distillation を用いて LR-HR のマッチングを向上させる、変換および解像度のギャップに明示的に対処する新しいフレームワーク C²-Matching を提案する。CUFED5 では 1dB 以上の PSNR 増加を達成し、Web 基盤のリファレンス検索を模擬する新しい WR-SR ベンチマークでも優れた汎化性能を示す。

ABSTRACT

Reference-based Super-Resolution (Ref-SR) has recently emerged as a promising paradigm to enhance a low-resolution (LR) input image by introducing an additional high-resolution (HR) reference image. Existing Ref-SR methods mostly rely on implicit correspondence matching to borrow HR textures from reference images to compensate for the information loss in input images. However, performing local transfer is difficult because of two gaps between input and reference images: the transformation gap (e.g. scale and rotation) and the resolution gap (e.g. HR and LR). To tackle these challenges, we propose C2-Matching in this work, which produces explicit robust matching crossing transformation and resolution. 1) For the transformation gap, we propose a contrastive correspondence network, which learns transformation-robust correspondences using augmented views of the input image. 2) For the resolution gap, we adopt a teacher-student correlation distillation, which distills knowledge from the easier HR-HR matching to guide the more ambiguous LR-HR matching. 3) Finally, we design a dynamic aggregation module to address the potential misalignment issue. In addition, to faithfully evaluate the performance of Ref-SR under a realistic setting, we contribute the Webly-Referenced SR (WR-SR) dataset, mimicking the practical usage scenario. Extensive experiments demonstrate that our proposed C2-Matching significantly outperforms state of the arts by over 1dB on the standard CUFED5 benchmark. Notably, it also shows great generalizability on WR-SR dataset as well as robustness across large scale and rotation transformations.

研究の動機と目的

• 変換（例：スケール、回転）および解像度（HR 対 LR）のギャップにより生じる参照ベース超解像における不正確な対応マッチングの課題に対処すること。
• 入力画像の拡張されたビューを用いた対照学習により、変換に頑健な特徴を学習することで、テクスチャ転送の正確性を向上させること。
• 事前に訓練された HR-HR マッチング教師モデルから知識を蒸留することで、解像度ギャップを埋め、より困難な LR-HR マッチングの生徒モデルを支援すること。
• Web 検索から得られるリファレンス画像を想定した実用的状況での Ref-SR 評価のため、より現実的なベンチマークを開発すること。
• 学習された対応に基づいて柔軟にリファレンス特徴を統合する動的アグリゲーションモジュールにより、復元品質を向上させること。

提案手法

• 変換された特徴ペア間の距離を最小化し、関係のない特徴間の距離を最大化することで、変換に頑健な特徴記述子を学習するための対照的対応ネットワークを導入する。
• スケールおよび回転に対する不変性を強制するため、三つ組みマージン損失を採用し、幾何的変化下での対応精度を向上させる。
• HR-HR マッチングモデル（教師）から得られる知識を、LR-HR マッチングモデル（生徒）に蒸留することで、細かいテクスチャ領域の性能を向上させる。
• 解像度の不均衡にもかかわらず、教師の注目マップを用いて生徒モデルが対応をより正確に一致させることを支援する。
• 学習された注目重みを用いてリファレンス画像の特徴を統合する動的アグリゲーションモジュールを採用し、より良いテクスチャ転送を実現する可変サイズの受容 field を可能にする。
• 再構成損失と併せて、対応精度および画像品質の両方を同時に最適化するエンド・ツー・エンドの訓練フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 対照学習は、参照ベース超解像における大規模なスケールおよび回転変化下でも、対応マッチングの頑健性を向上させ得るか？
• RQ2 高解像度マッチングモデルから得られる知識を、低解像度から高解像度へのマッチングを改善するために効果的に転送できるか？
• RQ3 暗黙のマッチングと比較して、明示的なクロス解像度およびクロス変換マッチングは、テクスチャ転送および画像復元品質にどの程度向上効果をもたらすか？
• RQ4 本手法は、トレーニング中に見られなかった実世界の Web 由来のリファレンス画像に対しても、どの程度汎化性能を示すか？
• RQ5 対照ネットワーク、蒸留、動的アグリゲーションといった各モジュールが、最終的な超解像性能に及ぼす影響は何か？

主な発見

• C²-Matching は、最先端手法と比較して、標準的な CUFED5 ベンチマークで 1dB 以上の PSNR 増加を達成した。
• 対照的対応ネットワークは、大規模なスケールおよび回転変換下で平均エンド・トゥ・エンド誤差を 15–25% 減少させ、優れた頑健性を示した。
• 教師-生徒相関蒸留により、CUFED5 のテクスチャサブセットで 0.16dB の性能向上が得られ、細かいディテール回復の顕著な向上が示された。
• 動的アグリゲーションモジュールは、固定サイズのパッチ統合と比較して PSNR を 0.08dB 向上させ、適応的特徴統合の利点を示した。
• 新規に導入された WR-SR データセット（Web 基盤のリファレンス検索を模擬）においても、C²-Matching は優れた性能を維持し、汎化能力の高さを証明した。
• ユーザースタディの結果、80% を超える参加者が、SRNTT や ESRGAN といった最先端手法の出力と比較して、C²-Matching の出力の視覚的品質を好んだ。