[論文レビュー] Deep Constrained Least Squares for Blind Image Super-Resolution

Ziwei Luo, Haibin Huang+4 more|arXiv (Cornell University)|Feb 15, 2022

Advanced Image Processing Techniques被引用数 8

ひとこと要約

本稿では、ぼかしカーネルを低解像度空間で推定するように劣化モデルを再定式化することで、より正確なカーネル推定と空間的カーネル構造の保持を可能にする、DCLS-SRという新しいブラインド画像スーパーレゾリューション手法を提案する。動的ディープラインアーキテクチャ（DDLK）を導入し、入力特徴に応じて適応的にカーネル重みを生成する。さらに、特徴空間に適用される深層制約付き最小二乗（DCLS）デコンボリューションモジュールにより、DIV2KRKなどのベンチマークで28.99 dBのPSNRと0.7964のSSIMという最先端の性能を達成した。

ABSTRACT

In this paper, we tackle the problem of blind image super-resolution(SR) with a reformulated degradation model and two novel modules. Following the common practices of blind SR, our method proposes to improve both the kernel estimation as well as the kernel-based high-resolution image restoration. To be more specific, we first reformulate the degradation model such that the deblurring kernel estimation can be transferred into the low-resolution space. On top of this, we introduce a dynamic deep linear filter module. Instead of learning a fixed kernel for all images, it can adaptively generate deblurring kernel weights conditional on the input and yield a more robust kernel estimation. Subsequently, a deep constrained least square filtering module is applied to generate clean features based on the reformulation and estimated kernel. The deblurred feature and the low input image feature are then fed into a dual-path structured SR network and restore the final high-resolution result. To evaluate our method, we further conduct evaluations on several benchmarks, including Gaussian8 and DIV2KRK. Our experiments demonstrate that the proposed method achieves better accuracy and visual improvements against state-of-the-art methods.

研究の動機と目的

• アリーアシングとアンダーサンプリングのあいまいさによって引き起こされるブラインド画像スーパーレゾリューションにおける不正確なぼかしカーネル推定の課題に対処する。
• 空間的関係を破壊するカーネルストレッチ戦略の限界を克服する。
• 直接深層特徴上で動作する、原理的かつノイズに強いデコンボリューション手法を設計し、クリアな高解像度画像を回復する。
• カーネル推定と画像アップサンプリングを分離することで、多様な劣化カーネルに対して性能を向上させる。
• Gaussian8およびDIV2KRKを含む標準ベンチマークで最先端の結果を達成する。

提案手法

• 古典的劣化モデルを再定式化し、ぼかしカーネル推定を低解像度空間に移行させることで、アリーアシングのあいまいさを解消する。
• 入力特徴に条件づけられた適応的カーネル重みを生成する動的ディープラインアーキテクチャ（DDLK）モジュールを導入し、ロバスト性と学習効率を向上させる。
• 推定されたカーネルを用いてチャネル別にデブラーを適用する深層制約付き最小二乗（DCLS）デコンボリューションモジュールを提案し、空間的カーネル構造を保持する。
• RGB空間ではなく特徴空間にDCLSを適用することで、カーネルストレッチを回避し、原理的かつノイズに強い回復を実現する。
• 最終的な高解像度画像再構築のため、デブラー特徴と元の低解像度特徴を二重パス構造のネットワークで統合する。
• 二重パスネットワークを用いて、特徴の共同精錬と最終HR画像の再構築を実現し、デブラー済み特徴と生の特徴の両方を活用する。

Figure 1 : Kernel reformulation examples. The top row and middle row are the LR images and the corresponding primitive kernels. The bottom row is the reformulated kernels.

実験結果

リサーチクエスチョン

• RQ1 ぼかしカーネルを低解像度空間で推定するように劣化モデルを再定式化することで、カーネル推定の正確性を向上させ、あいまいさを低減できるか？
• RQ2 固定または学習可能なカーネルと比較して、動的ディープラインアーキテクチャ（DDLK）モジュールがより柔軟かつ正確なカーネル予測を提供できるか？
• RQ3 特徴空間に制約付き最小二乗デコンボリューションを適用することで、従来のデブラー手法よりも優れた性能を発揮するか？
• RQ4 カーネルストレッチを回避することで、空間的カーネル関係を保持することができ、その結果として性能が向上するか？
• RQ5 未知のぼかしカーネルと真値画像を伴わない実世界の劣化に対して、本手法は優れた性能を示すか？

主な発見

• 提案手法DCLS-SRは、DIV2KRKベンチマークで28.99 dBのPSNRと0.7964のSSIMを達成し、最先端の手法を上回った。
• アブレーションスタディの結果、ベースラインに比べてDCLSデコンボリューションモジュールが+0.15 dBのPSNR向上を示し、その有効性を確認した。
• 特徴空間にDCLSを適用した場合（28.99 dB PSNR）は、RGB空間に適用した場合（28.94 dB PSNR）よりも優れた結果を示し、特徴レベル処理の利点を裏付けた。
• 実際の歴史的画像における可視的比較では、DCLS-SRはLapSRNやDANv2と比較して、より鋭いエッジと視覚的に魅力的な結果を生成した。
• 動的ディープラインアーキテクチャ（DDLK）は、従来の画像固有の手法（例：KernelGAN や Correction Filter）と比較して、より正確で柔軟なカーネル推定を実現した。
• Gaussianおよび実世界のぼかしを含む多様な劣化カーネルに対して、本手法は強力な性能を維持し、ロバスト性を示した。

Figure 2 : Architecture of the dynamic deep linear kernel.