[論文レビュー] Flow-based Kernel Prior with Application to Blind Super-Resolution

Jingyun Liang, Kai Zhang+3 more|arXiv (Cornell University)|Mar 29, 2021

Advanced Image Processing Techniques参考文献 51被引用数 9

ひとこと要約

本稿では、非定常ガウス潜在変数と複雑なカーネル分布の間の可逆写像を学習するために正規化フローを用いるフローベースのカーネルプライア（FKP）を提案する。潜在空間で最適化を行い、FKPパラメータを固定することで、より少ないパラメータ数で安定的かつ正確なカーネル推定が可能となり、ブラインドスーパーレゾリューションにおいて、Double-DIP や KernelGAN などの先行手法を上回る性能を発揮する。

ABSTRACT

Kernel estimation is generally one of the key problems for blind image super-resolution (SR). Recently, Double-DIP proposes to model the kernel via a network architecture prior, while KernelGAN employs the deep linear network and several regularization losses to constrain the kernel space. However, they fail to fully exploit the general SR kernel assumption that anisotropic Gaussian kernels are sufficient for image SR. To address this issue, this paper proposes a normalizing flow-based kernel prior (FKP) for kernel modeling. By learning an invertible mapping between the anisotropic Gaussian kernel distribution and a tractable latent distribution, FKP can be easily used to replace the kernel modeling modules of Double-DIP and KernelGAN. Specifically, FKP optimizes the kernel in the latent space rather than the network parameter space, which allows it to generate reasonable kernel initialization, traverse the learned kernel manifold and improve the optimization stability. Extensive experiments on synthetic and real-world images demonstrate that the proposed FKP can significantly improve the kernel estimation accuracy with less parameters, runtime and memory usage, leading to state-of-the-art blind SR results.

研究の動機と目的

• ブラインド画像スーパーレゾリューション（SR）における不正確で不安定なぼかしカーネル推定の課題に取り組み、高分解能（HR）画像の品質を低下させることを目的とする。
• 実世界のSRにおいて非定常ガウスカーネルが十分であるという既知の事前知識を活用し、従来のディープラーニングベースのプライアよりも効果的にそれらをモデル化することを目的とする。
• 安定した最適化を可能にするために、扱いやすい潜在空間からカーネル空間への双方向写像（バイジェクティブ写像）を学習するカーネルプライアを開発することを目的とする。
• カーネル推定の正確性を損なわず、モデルの複雑さを低減し、効率を向上させることを目的とする。

提案手法

• FKP はバッチ正規化、パリティ、アフィンカップリング層からなる正規化フローを用い、潜在ガウス分布からぼかしカーネル分布への可逆変換を学習する。
• モデルは観測されたカーネルの負の対数尤度を最小化することで、教師なしに訓練され、真のラベルなしで複雑なカーネル分布を捉えることができる。
• 推論時、FKP のパラメータは固定され、潜在変数のみが最適化される。これにより、生成されたすべてのカーネルが学習済みのカーネル多様体上に位置することが保証される。
• 本手法は Double-DIP や KernelGAN のカーネルモデリング部品を置き換え、高分解能画像とカーネルの共同最適化、または安定性が向上した GAN ベースの学習を可能にする。
• 双方向写像の性質のおかげで、意味的で現実的なカーネルによる初期化が可能となり、従来手法のランダム初期化の問題を回避する。
• 本手法はプラグアンドプレイであり、アーキテクチャの変更なしに、Double-DIP や KernelGAN などの既存のブラインドSRフレームワークに容易に統合可能である。

実験結果

リサーチクエスチョン

• RQ1 正規化フローに基づくカーネルプライアは、従来のディープラーニングベースの画像プライアや GAN ベースの手法と比較して、ブラインドスーパーレゾリューションにおけるぼかしカーネル推定の正確性と安定性を向上させることができるか？
• RQ2 潜在空間からカーネル空間への双方向写像を学習することで、より良いカーネル初期化と最適化収束性が得られるか？
• RQ3 FKP は、カーネル推定性能を維持または向上させつつ、モデルの複雑さ（パラメータ数、メモリ使用量、実行時間）をどの程度低減できるか？
• RQ4 非ガウス分布のカーネルやノイズを含む画像において、FKP は従来手法と比較してどの程度の性能を発揮するか？
• RQ5 FKP は Double-DIP や KernelGAN などの異なるブラインドSRフレームワークに効果的に統合可能であり、最先端の結果を達成できるか？

主な発見

• FKP は最先端のブラインドスーパーレゾリューション性能を達成し、スケール因子 4 において、KernelGAN-FKP は KernelGAN よりも画像の PSNR を 1.77dB、カーネルの PSNR を 3.35dB 向上させた。
• FKP モデルはたった 143K のパラメータで構成され、Double-DIP（641K）や KernelGAN（151K）と比較して顕著に少ない。これにより、メモリ使用量と実行時間の両方が削減された。
• FKP はより安定した最適化を実現した。中間結果では、KernelGAN が示すような振動のない滑らかな収束が観察された。
• 非ガウス分布のカーネルとノイズを含む実世界の画像においても、KernelGAN-FKP は顕著なマージンでベースラインを上回る強力な性能を維持した。
• 合成データおよび実世界データの両方において、カーネル推定の正確性が向上し、よりシャープで現実的である高分解能画像再構成が可能になった。
• FKP パラメータを固定し、潜在変数のみを最適化することで、生成されたすべてのカーネルが学習済み多様体上に位置することが保証され、初期化と最適化の安定性が向上した。