[論文レビュー] A Dynamic Kernel Prior Model for Unsupervised Blind Image Super-Resolution

Zhixiong Yang, Jingyuan Xia+6 more|arXiv (Cornell University)|Apr 24, 2024

Advanced Image Processing Techniques被引用数 4

ひとこと要約

本稿では、非教師付きのブラインド画像スーパーレゾリューションのための動的カーネル事前分布（DKP）モデルを提案する。このモデルは、マルコフ連鎖モンテカルロ（MCMC）サンプリングとネットワークベースのランジエンドリン動力学を用いて、事前学習不要で即座に利用可能なカーネル推定を可能にする。DKPは、適応的カーネル事前分布を学習することで、ガウスノイズおよびモーションブラーの両状況において最先端の性能を達成し、既存手法を上回るが、実行時間およびメモリ使用量は同等を維持する。

ABSTRACT

Deep learning-based methods have achieved significant successes on solving the blind super-resolution (BSR) problem. However, most of them request supervised pre-training on labelled datasets. This paper proposes an unsupervised kernel estimation model, named dynamic kernel prior (DKP), to realize an unsupervised and pre-training-free learning-based algorithm for solving the BSR problem. DKP can adaptively learn dynamic kernel priors to realize real-time kernel estimation, and thereby enables superior HR image restoration performances. This is achieved by a Markov chain Monte Carlo sampling process on random kernel distributions. The learned kernel prior is then assigned to optimize a blur kernel estimation network, which entails a network-based Langevin dynamic optimization strategy. These two techniques ensure the accuracy of the kernel estimation. DKP can be easily used to replace the kernel estimation models in the existing methods, such as Double-DIP and FKP-DIP, or be added to the off-the-shelf image restoration model, such as diffusion model. In this paper, we incorporate our DKP model with DIP and diffusion model, referring to DIP-DKP and Diff-DKP, for validations. Extensive simulations on Gaussian and motion kernel scenarios demonstrate that the proposed DKP model can significantly improve the kernel estimation with comparable runtime and memory usage, leading to state-of-the-art BSR results. The code is available at https://github.com/XYLGroup/DKP.

研究の動機と目的

• 教師あり事前学習の限界を是正すること。具体的には、高分解能（HR）画像と低分解能（LR）画像のペairedデータセットを必要とする従来のブラインドスーパーレゾリューション（BSR）手法の課題に対処する。
• ラベル付きデータへの学習を回避する非教師付き、即座に利用可能なカーネル推定フレームワークの開発。
• 非凸的で不適切に定義されたBSR問題におけるカーネル推定の正確性を、適応的かつデータ駆動型の事前分布を用いて向上させる。
• DIP や拡散モデルなどの既存の画像修復モデルに、アーキテクチャの変更なしに統合可能な互換性を確保する。
• 高分解能画像の真値を一切使用せず、ガウスノイズおよびモーションブラーの両状況で最先端の性能を達成すること。

提案手法

• DKPモデルは2つのモジュールから構成される：ランダムカーネルサンプリング（RKS）と事前カーネル推定（PKE）。
• RKSモジュールは、ランダムカーネル分布に対するMCMCサンプリングを用いて、非教師的に合理的で適応的なカーネル事前分布を生成する。
• PKEモジュールは、RKSが生成した事前分布と、LR再構成誤差からのデータ整合性を用いて、ブラー・カーネルを推定するネットワークベースのランジエンドリン動力学（NLD）最適化戦略を採用する。
• NLDの更新スキームにより、事前知識と観測データのバランスを保ちながら、正確なカーネル推定への収束を確保する。
• DKPは、DIP や拡散モデルなどの既存の修復モデルに、即座に利用可能な統合（plug-and-play）により統合され、それらのカーネルモデリング部品を置き換えたり補完したりする。
• システム全体は、エンドツーエンドの交互最適化スキームで訓練され、事前学習なしに、HR画像再構築とカーネル推定を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 ペアドLR-HRトレーニングデータに依存せずに、非教師的に効果的なカーネル事前分布を学習できるか？
• RQ2 ランダムカーネル分布に対するMCMCサンプリングが、ブラインドスーパーレゾリューションにおけるカーネル推定を向上させる合理的で適応的な事前分布を生成できるか？
• RQ3 NLD最適化による動的カーネル事前分布の統合が、ガウスノイズおよびモーションブラー両状況における画像修復性能を向上させるか？
• RQ4 既存の事前学習済みまたは教師ありBSR手法と比較して、DKPモデルの性能、実行時間、メモリ使用量はどの程度か？
• RQ5 DIP や拡散モデルなどの市販の修復モデルに、アーキテクチャの変更なしにスムーズに統合できるか？

主な発見

• DKPモデルはモーションブラー状況で56.76のカーネルPSNR、ガウスノイズ状況で56.20のカーネルPSNRを達成し、既存の非教師付き手法を著しく上回る。
• DIP-DKP設定では、画像PSNRが25.98、SSIMが0.6878に達し、Double-DIP や DIP-FKP を両指標で上回る。
• Diff-DKPバージョンは、モーションブラー画像において、画像PSNRが26.76、SSIMが0.7400に達し、優れた修復品質を示す。
• アブレーションスタディにより、RKSモジュールを削除するとカーネル推定の正確性が著しく低下することが確認された（例：カーネルPSNRが56.76から34.78に低下）。これはRKSモジュールが極めて重要な役割を果たしていることを証明する。
• DKPモデルは中程度の計算コストを維持する。512×512画像の修復にはRTX 3090で92秒、11 GBのメモリを要し、Double-DIP や DIP-FKP と同等の水準である。
• PKEモジュールは、ネットワークの深さ（3〜7層）および幅（100〜1000ユニット）の異なる設定に対しても頑健な汎化性能を示しており、アーキテクチャ設計に対して低い感受性を示している。