[論文レビュー] Spectrum-to-Kernel Translation for Accurate Blind Image Super-Resolution

Guangpin Tao, Xiaozhong Ji+7 more|arXiv (Cornell University)|Oct 23, 2021

Advanced Image Processing Techniques参考文献 37被引用数 7

ひとこと要約

本稿では、低解像度画像の周波数ドメインスぺクトルから直接ぼかしカーネルを推定するSpectrum-to-Kernel (S2K) ネットワークを用いて、盲目的な画像超解像フレームワークを提案する。周波数ドメイン特徴表現とSR指向の最適化を施した条件付きGANを活用することで、2×および4×の拡大において、それぞれ平均で1.39dBおよび0.48dBの向上を達成し、最先端の性能を実現した。

ABSTRACT

Deep-learning based Super-Resolution (SR) methods have exhibited promising performance under non-blind setting where blur kernel is known. However, blur kernels of Low-Resolution (LR) images in different practical applications are usually unknown. It may lead to significant performance drop when degradation process of training images deviates from that of real images. In this paper, we propose a novel blind SR framework to super-resolve LR images degraded by arbitrary blur kernel with accurate kernel estimation in frequency domain. To our best knowledge, this is the first deep learning method which conducts blur kernel estimation in frequency domain. Specifically, we first demonstrate that feature representation in frequency domain is more conducive for blur kernel reconstruction than in spatial domain. Next, we present a Spectrum-to-Kernel (S$2$K) network to estimate general blur kernels in diverse forms. We use a Conditional GAN (CGAN) combined with SR-oriented optimization target to learn the end-to-end translation from degraded images' spectra to unknown kernels. Extensive experiments on both synthetic and real-world images demonstrate that our proposed method sufficiently reduces blur kernel estimation error, thus enables the off-the-shelf non-blind SR methods to work under blind setting effectively, and achieves superior performance over state-of-the-art blind SR methods, averagely by 1.39dB, 0.48dB on commom blind SR setting (with Gaussian kernels) for scales $2 imes$ and $4 imes$, respectively.

研究の動機と目的

• 実世界の画像においてぼかしカーネルが未知で変動する盲目的地図超解像の課題に対処すること。
• 学習時と推論時の劣化プロセスの不一致により性能が低下する非盲目的SRモデルの課題を克服すること。
• 空間ドメインではなく周波数ドメインにおけるぼかしカーネルの形状構造を活用することで、カーネル推定の精度を向上させること。
• 即時の非盲目的SRモデルが盲目的な状況でも効果的に動作できる、堅牢でエンドツーエンドのフレームワークを開発すること。
• 合成および実世界の画像データセットにおいて、優れた視覚的および定量的性能を示すこと。

提案手法

• 理論的分析により、周波数ドメイン表現は特にスパarsなカーネルに対して、空間ドメイン特徴よりもぼかしカーネル再構築に適していることが示された。
• 劣化した低解像度画像のフーリエ振幅スペクトルを補間された空間的ぼかしカーネルにマッピングするSpectrum-to-Kernel (S2K) 変換ネットワークを提案した。
• L1損失（ピxlsレベル再構成用）、スペクトル整合性損失（Ls）（カーネル形状の維持用）、正則化損失（Lreg）（安定な学習用）からなるマルチコンポonent損失を備えた条件付きGAN (CGAN) を使用した。
• 低解像度画像の離散フーリエ変換 (DFT) に基づく周波数ドメイン入力表現を採用し、カーネル構造を捉えるために振幅スペクトルに焦点を当てた。
• 推定されたカーネルを既存の非盲目的SRモデルに統合し、エンドツーエンドの盲目的なSR推論を可能にした。最終的なSR品質と最適化が整合するようにした。
• 空間的カーネルの明示的監視を必要とせず、ペアドされた低解像度画像とそれに対応する真値カーネルを用いてS2Kネットワークを学習した。

実験結果

リサーチクエスチョン

• RQ1 低解像度画像の周波数ドメイン表現は、空間ドメイン表現に比べて、ぼかしカーネル推定においてより頑健で正確であるか？
• RQ2 周波数ドメインでスペクトルからカーネルへの直接変換は、空間ドメインでのカーネル推定を上回るか？
• RQ3 最適化目的（例：L1、スペクトル整合性、正則化）の選択が、カーネル推定および下流のSR性能に与える影響は？
• RQ4 提案されたS2Kフレームワークは、特定のカーネルに特化した設計を必要とせず、多様なぼかしカーネル（例：ガウス、モーション、ディスク）に一般化可能か？
• RQ5 周波数ドメインでのカーネル推定は、即時の非盲目的SRモデルの盲目的な状況下での性能をどの程度向上させるか？

主な発見

• S2Kネットワークは、標準ベンチマークにおいて盲目的地図超解像で最先端の性能を達成し、2×および4×拡大において、それぞれ平均で1.39dBおよび0.48dBのPSNR向上を達成した。
• 周波数ドメインでのカーネル推定は、空間ドメイン手法に比べて誤差を顕著に低減し、特に複雑または任意のカーネルに対して顕著であった。
• パrameter数が少ないにもかかわらず、周波数ドメイン手法は強力なSR性能を維持（1.55dBおよび0.63dBの低下）したが、空間ドメイン手法は著しい劣化を示した（9.45dBおよび10.08dBの低下）。
• アブレーションスタディにより、L1、スペクトル整合性（Ls）、正則化（Lreg）損失の組み合わせが、最良のカーネル推定およびSR結果をもたらすことが確認された。
• 歴史的画像およびCanonで撮影された実画像における視覚的比較では、S2Kは先行手法に比べてより明確なテクスチャ、鋭いエッジ、および少ないアーティファクトを生成した。
• 本手法は多様な劣化タイプに一般化でき、画像内の空間的に変動するカーネル推定誤差に対しても高い忠実度を維持した。