[論文レビュー] Blind Image Super-Resolution via Contrastive Representation Learning

Jiahui Zhang, Shijian Lu+2 more|arXiv (Cornell University)|Jul 1, 2021

Advanced Image Processing Techniques参考文献 57被引用数 34

ひとこと要約

CRL-SR は、対照的デカップリングエンコーディングと対照的特徴リファインメントを導入して、明示的な degradation 推定なしに、多モーダルかつ空間的に変動する劣化の下でブラインド超解像を達成します。

ABSTRACT

Image super-resolution (SR) research has witnessed impressive progress thanks to the advance of convolutional neural networks (CNNs) in recent years. However, most existing SR methods are non-blind and assume that degradation has a single fixed and known distribution (e.g., bicubic) which struggle while handling degradation in real-world data that usually follows a multi-modal, spatially variant, and unknown distribution. The recent blind SR studies address this issue via degradation estimation, but they do not generalize well to multi-source degradation and cannot handle spatially variant degradation. We design CRL-SR, a contrastive representation learning network that focuses on blind SR of images with multi-modal and spatially variant distributions. CRL-SR addresses the blind SR challenges from two perspectives. The first is contrastive decoupling encoding which introduces contrastive learning to extract resolution-invariant embedding and discard resolution-variant embedding under the guidance of a bidirectional contrastive loss. The second is contrastive feature refinement which generates lost or corrupted high-frequency details under the guidance of a conditional contrastive loss. Extensive experiments on synthetic datasets and real images show that the proposed CRL-SR can handle multi-modal and spatially variant degradation effectively under blind settings and it also outperforms state-of-the-art SR methods qualitatively and quantitatively.

研究の動機と目的

• 現実世界の多モーダルで空間的に変動する劣化下でのブラインドSRの課題に対処する。
• LR画像とHR画像に共通する解像度に不変な特徴を抽出し、劣化の影響を緩和する。
• 学習済み事前情報を用いて紛失した高周波の詳細を回復し、高忠実度のSR画像を生成する。
• 対照的表現学習を活用して、明示的な劣化モデル推定を回避する。）

提案手法

• 双方向の対照損失の下で、アップサンプリングされたLRおよびHR画像から解像度不変特徴を抽出する2つのエンコーダを用いる対照的デカップリングエンコーディング（CDE）を提案する。
• 条件付き対照損失に導かれて、失われた高周波詳細を生成する対照的特徴リファインメント（CFR）を導入する。
• LRとHRの不変特徴間の相互情報を最大化する双方向InfoNCE風損失を用いる。
• 解像度不変のLR特徴に条件付けされた条件付き対照損失を定義し、SR特徴リファインメントと画像再構成を誘導する。
• CFR損失、SR再構成損失、HR再構成損失を含む結合目的関数を最適化して、HR内容との整合性を確保する。
• 劣化を I_l = (I_h ⊗ k) ↓_s + n とモデル化し、kおよびnの推定ではなく不変表現の学習に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 対照学習フレームワークは、ブラインドSRにおいて劣化から解像度不変特徴をデカップルできるか？
• RQ2 LR的不変特徴に基づく対照的リファインメントの条件付けは、高周波の詳細回復を改善するか？
• RQ3 対照的デカップリングエンコーディングと対照的特徴リファインメントは、多モーダルで空間的に変動する劣化の処理においてどのように相補的に機能するか？
• RQ4 提案手法CRL-SRは、複雑な現実世界の劣化下で、既存のブラインドおよびノンブラインドSR手法を上回ることができるか？

主な発見

• CRL-SRは、ブラインドで多モーダル劣化下の合成および実画像に対して、定性的にも定量的にも最先端のSR手法を上回る。
• アブレーション研究は、CDEとCFRの両方がPSNRの改善に寄与し、CRL-SR全体が最良の性能を達成することを示している。
• 双方向対照損失は解像度不変特徴を効果的に抽出し、劣化の影響を低減する。
• 条件付き対照損失は、劣化中に失われた高周波の詳細を生成することを可能にし、ディテールの忠実度を向上させる。
• CRL-SRは、報告された実験でRCAN、IKC、DASRよりも空間的に変動する劣化および未知の多モーダル劣化に対してより一般化する。