[論文レビュー] Unsupervised Degradation Representation Learning for Blind Super-Resolution

Longguang Wang, Yingqian Wang+5 more|arXiv (Cornell University)|Apr 1, 2021

Advanced Image Processing Techniques参考文献 45被引用数 23

ひとこと要約

本稿では、対照的学習を用いて明示的な劣化推定を回避する、盲目的超解像のための非教師あり劣化表現学習手法を提案する。劣化に敏感なSR（DASR）ネットワークは、これらの表現を用いて特徴量を適応的に変調し、合成および実世界の画像の両方で最先端の性能を達成するとともに、反復的手法よりも7倍速い推論速度を実現する。

ABSTRACT

Most existing CNN-based super-resolution (SR) methods are developed based on an assumption that the degradation is fixed and known (e.g., bicubic downsampling). However, these methods suffer a severe performance drop when the real degradation is different from their assumption. To handle various unknown degradations in real-world applications, previous methods rely on degradation estimation to reconstruct the SR image. Nevertheless, degradation estimation methods are usually time-consuming and may lead to SR failure due to large estimation errors. In this paper, we propose an unsupervised degradation representation learning scheme for blind SR without explicit degradation estimation. Specifically, we learn abstract representations to distinguish various degradations in the representation space rather than explicit estimation in the pixel space. Moreover, we introduce a Degradation-Aware SR (DASR) network with flexible adaption to various degradations based on the learned representations. It is demonstrated that our degradation representation learning scheme can extract discriminative representations to obtain accurate degradation information. Experiments on both synthetic and real images show that our network achieves state-of-the-art performance for the blind SR task. Code is available at: https://github.com/LongguangWang/DASR.

研究の動機と目的

• 実際の劣化が固定された劣化（例：バイキュービック）と異なる場合に、CNNベースの超解像手法の性能低下を是正すること。
• 盲目的超解像における時間のかかるかつ誤差の生じやすい劣化推定に依存しないこと。
• 非教師ありの方法で、劣化タイプの抽象的で判別性の高い表現を学習すること。
• これらの表現を用いて、1つの推論ネットワークが多様で未知の劣化に柔軟に適応できること。

提案手法

• 同じ画像からの画像パッチ（同じ劣化）が類似し、異なる画像からのパッチ（異なる劣化）が遠ざかるように、表現空間にマッピングする劣化エンコーダーを対照的学習で訓練する。
• 学習済みの劣化表現を用いて、畳み込みカーネルとチャネル別モジュレーション係数を予測し、特徴量を適応的に精錬する劣化に敏感なSR（DASR）ネットワークを採用する。
• 同一画像からのパaires（ポジティブペア）と異なる画像からのパaires（ネガティブペア）を、潜在表現空間で比較する対照的損失関数を活用する。
• 教師なしで訓練するため、劣化ラベルの真値を必要とせず、低解像度画像のみを用いて劣化エンコーダーを学習する。
• データオーグメンテーション（例：クロップ、カラーのジャマーリング）を用いて、対照的学習のためのポジティブおよびネガティブペアを生成する。
• 動的畳み込みとチャネルアテンション機構を用いて、劣化表現をSRネットワークに統合し、適応的特徴学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 明示的な劣化推定を伴わずに、非教師あり表現学習が判別性の高い劣化特性を効果的に捉えられるか？
• RQ2 学習済みの劣化表現が、1つのSRネットワークが多様で未知の劣化に一般化できるか？
• RQ3 表現空間における対照的学習が、ピクセルレベルの劣化推定に比べ、精度と効率の面で優れているか？
• RQ4 提案手法が、合成および実世界の盲目的超解像ベンチマークの両方で最先端の性能を達成できるか？

主な発見

• 提案されたDASRネットワークは、×4超解像におけるSet14で最先端のPSNRを達成し、ノイズレベル0では27.99 dB、ノイズレベル5では27.25 dB、ノイズレベル10では26.57 dBを記録した。
• 全ブラー核およびノイズレベルの平均で、IKCより0.8 dB優れており、推論時間を70ms（7倍速）に短縮した（520ms対比）。
• 劣化表現空間は、異なるブラー核とノイズレベルを明確に分離したグループにクラスタリングされており、可視化（図6）で示された。
• 実世界の画像では、ベースライン手法と比較して、DASRはよりシャープなディテールと少ないぼやけたアーティファクトを生成した（図8で示された）。
• 非教師あり劣化表現学習スキームにより、真値の教師なしで正確な劣化情報抽出が可能となった。
• 複数のブラー核とノイズレベルを含む複雑な劣化に対しても、最小限のアーティファクトで優れた視覚的品質を達成した。