[論文レビュー] Blind Super-Resolution With Iterative Kernel Correction

Jinjin Gu, Hannan Lu+2 more|arXiv (Cornell University)|Apr 6, 2019

Advanced Image Processing Techniques参考文献 35被引用数 23

ひとこと要約

本稿では、盲目的超解像における不正確なぼかしカーネルを、超解像出力におけるアーチファクトパターンに基づいて反復的に修正する反復的カーネル補正（IKC）手法を提案する。空間的特徴変換層を用いた新規なSFTMDネットワークと組み合わせることで、合成および実世界の画像の両方で最先端の性能を達成し、カーネル不一致によって引き起こされる過剰な平滑化やリングアーチファクトを顕著に低減する。

ABSTRACT

Deep learning based methods have dominated super-resolution (SR) field due to their remarkable performance in terms of effectiveness and efficiency. Most of these methods assume that the blur kernel during downsampling is predefined/known (e.g., bicubic). However, the blur kernels involved in real applications are complicated and unknown, resulting in severe performance drop for the advanced SR methods. In this paper, we propose an Iterative Kernel Correction (IKC) method for blur kernel estimation in blind SR problem, where the blur kernels are unknown. We draw the observation that kernel mismatch could bring regular artifacts (either over-sharpening or over-smoothing), which can be applied to correct inaccurate blur kernels. Thus we introduce an iterative correction scheme -- IKC that achieves better results than direct kernel estimation. We further propose an effective SR network architecture using spatial feature transform (SFT) layers to handle multiple blur kernels, named SFTMD. Extensive experiments on synthetic and real-world images show that the proposed IKC method with SFTMD can provide visually favorable SR results and the state-of-the-art performance in blind SR problem.

研究の動機と目的

• ぼかしカーネルが未知または不一致である場合に、深層学習ベースの超解像性能が低下する問題に対処すること。
• 実世界の応用において事前定義されたまたは手作業で作成されたカーネルに依存する既存手法の限界を克服すること。
• 教師付きカーネル情報が不要な状態で、ぼかしカーネルを推定・補正できる、頑健でエンドツーエンドのフレームワークを開発すること。
• 実世界の複雑で未知のぼかしカーネルを含む多様な劣化パターンへの一般化を向上させること。
• 劣化プロセスの事前知識がなくても、自動的かつアーチファクトのない超解像を可能にすること。

提案手法

• 超解像出力におけるアーチファクトを分析することで、初期のぼかしカーネル推定値を反復的に精緻化する反復的カーネル補正（IKC）方式を導入する。
• カーネル不一致効果の非対称性を活用する：過剰な平滑化はカーネルがやりすぎに平滑であることを示し、リングアーチファクトはカーネルがやりすぎに鋭いことを示す。
• ぼかしカーネルを低次元空間に表現するために主成分分析（PCA）を用い、未学習のカーネルへの一般化性を向上させる。
• 複数のぼかしカーネルに条件付けられる特徴マップを処理するための空間的特徴変換（SFT）層を用いた、新規な非盲目的超解像ネットワークSFTMDを設計する。
• SFTモジュールを介してカーネルに依存する特徴を注入することで、可変なカーネルを処理するSFTMDネットワークを訓練し、より良い特徴適応を実現する。
• IKCとSFTMDを二段階パイプラインで統合する：まずIKCでカーネルを推定し、次に補正済みカーネルを用いてSFTMDで高解像度画像を再構築する。

実験結果

リサーチクエスチョン

• RQ1 ぼかしカーネルの不一致によって生じるアーチファクトを、ぼかしカーネルの反復的補正によって低減できるか？
• RQ2 ぼかしカーネル表現にPCAを用いることで、多様な劣化パターンへの一般化性が向上するか？
• RQ3 SFTMDは、複数のぼかしカーネルを処理する際、SRMDなどの既存の非盲目的超解像ネットワークを上回る性能を示せるか？
• RQ4 提案手法のIKCは、未知で複雑な劣化カーネルを持つ実世界の画像に対してどのように性能を発揮するか？
• RQ5 IKCとSFTMDの組み合わせは、合成的および実世界の両設定において盲目的超解像で最先端の性能を達成できるか？

主な発見

• 提案されたIKC手法は、SR要因4のDIV2KデータセットでPSNR 27.06を達成し、以前の最先端手法を上回る性能を示した。
• BSD100データセットでは、SR要因4でPSNR 26.35を達成し、多様な画像セットにおいて強力な性能を示した。
• 未学習の劣化設定に対しても良好に一般化され、学習時の条件とは異なるダウンサンプリングカーネルでも高い性能を維持した。
• 実世界の画像における視覚的結果から、IKCはZSSRや手作業でカーネルを設定したSRMDと比較して、よりシャープで自然な出力を得た。
• カーネル表現にPCAを用いることで一般化性が向上し、トレーニング時に見られなかったテストカーネルに対しても優れた性能を示した。
• SFTMDはSRMDを上回る優れた性能を達成し、特定のベンチマークでPSNRに2.5 dBの向上を示した。これにより、SFTベースの特徴調制の有効性が確認された。