[論文レビュー] Blind Super-Resolution for Remote Sensing Images via Conditional Stochastic Normalizing Flows

Hanlin Wu, Ning Ni+2 more|arXiv (Cornell University)|Oct 14, 2022

Advanced Image Processing Techniques被引用数 7

ひとこと要約

本稿では、確率的正規化フロー（SNF）を用いて、低解像度入力の下での高解像度画像の条件付き確率分布を明示的にモデル化する、盲目的なスーパーレゾリューションフレームワークであるBlindSRSNFを提案する。劣化表現の対照的学習と逆拡散プロセスにおけるインターバルサンプリングを活用することで、GANベースの手法と比較して、より優れた視覚的品質と向上した訓練安定性、偽テクスチャアーティファクトの低減を達成する。

ABSTRACT

Remote sensing images (RSIs) in real scenes may be disturbed by multiple factors such as optical blur, undersampling, and additional noise, resulting in complex and diverse degradation models. At present, the mainstream SR algorithms only consider a single and fixed degradation (such as bicubic interpolation) and cannot flexibly handle complex degradations in real scenes. Therefore, designing a super-resolution (SR) model that can cope with various degradations is gradually attracting the attention of researchers. Some studies first estimate the degradation kernels and then perform degradation-adaptive SR but face the problems of estimation error amplification and insufficient high-frequency details in the results. Although blind SR algorithms based on generative adversarial networks (GAN) have greatly improved visual quality, they still suffer from pseudo-texture, mode collapse, and poor training stability. In this article, we propose a novel blind SR framework based on the stochastic normalizing flow (BlindSRSNF) to address the above problems. BlindSRSNF learns the conditional probability distribution over the high-resolution image space given a low-resolution (LR) image by explicitly optimizing the variational bound on the likelihood. BlindSRSNF is easy to train and can generate photo-realistic SR results that outperform GAN-based models. Besides, we introduce a degradation representation strategy based on contrastive learning to avoid the error amplification problem caused by the explicit degradation estimation. Comprehensive experiments show that the proposed algorithm can obtain SR results with excellent visual perception quality on both simulated LR and real-world RSIs.

研究の動機と目的

• 複数のぼかしカーネルやノイズレベルを含む、実世界の遠隔画像における複雑で多様な劣化の課題に対処すること。
• 固定された劣化モデルに依存する既存の盲目的なスーパーレゾリューション手法の限界を克服し、劣化推定における誤差拡大を回避すること。
• GANベースの盲目的なSRモデルがしばしばモード崩壊や偽テクスチャアーティファクトを抱えるのと比較して、視覚的品質と訓練安定性を向上させること。
• 再トレーニングを必要とせずに、サンプリングインターバルの調整によってテクスチャの豊かさを制御可能な柔軟な推論メカニズムを構築すること。
• 正規化フローを用いて、低解像度から高解像度画像空間への条件付き確率分布をエンドツーエンドで学習すること。

提案手法

• 低解像度入力の下での高解像度画像の条件付き確率分布をモデリングするため、確率的正規化フロー（SNF）を採用し、負の対数尤度（NLL）の明示的最適化を可能にする。
• 低解像度画像と学習された劣化表現ベクトルが、高解像度出力の生成を共同で条件づける、条件付き逆拡散プロセスを導入する。
• 特徴マップの次元を低下させ、フローに基づく生成モデルにおけるサンプリング効率を向上させるために、ピクセル単位の折りたたみとピクセルシャッフル操作を用いる。
• 推論速度と再構成品質のバランスを図るために、逆プロセスにおけるインターバルサンプリング戦略を実装し、サンプリングインターバルがテクスチャの豊かさを制御する。
• 明示的な劣化カーネル推定を必要とせず、ぼかしとノイズの特性を捉えることができる、堅牢な劣化表現ベクトルを学習するための対照的学習を適用する。
• 敵対的訓練に比べて訓練が簡素化されるため、尤度の変分下界に基づいてモデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 明示的な尤度最適化を備えたフローに基づく生成モデルは、遠隔画像の盲目的なスーパーレゾリューションにおいて、GANベースの手法と比較して、より優れた視覚的品質と訓練安定性を達成できるか？
• RQ2 対照的学習による劣化表現学習は、未知で多様な劣化に対してモデルの頑健性にどのように寄与するか？
• RQ3 視覚的品質、推論速度、アーティファクト抑制のバランスをとるには、逆拡散プロセスにおける最適なサンプリングインターバルは何か？
• RQ4 劣化事前分布や反復的カーネル推定に依存せずに、高品質で写真のようなスーパーレゾリューション画像を生成できるか？
• RQ5 既存の盲目的なSRアプローチと比較して、本手法は偽テクスチャアーティファクトと空間歪みをどの程度低減できるか？

主な発見

• サンプリングインターバルを50に設定した場合、GeoEye-1データセットにおいて、比較対象の全手法と比較して最高のFréchet Inception Distance（FID）とLPIPSスコアを達成し、FID = 66.65、LPIPS = 0.1485であった。
• ぼかしカーネルλ₁=3.6、λ₂=2.4、θ=0、ノイズレベル10のGeoEye-1データセットにおいて、PSNRが20.82 dBに達し、ベースラインモデルと比較して優れた知覚的品質を示した。
• サンプリングインターバルを50に設定した場合が、視覚的品質（低FIDおよびLPIPS）、PSNR、推論速度のバランスにおいて最良の妥協点を提供し、実行時間は0.45秒であった。
• アブレーションスタディの結果、劣化表現学習モジュールの導入によりPSNRが0.3–0.5 dB向上し、偽テクスチャが顕著に低減された。
• 視覚的比較では、農地や都市部のような複雑な領域においても、GANベースのベースラインと比較して、よりシャープで現実的であるとされるテクスチャを生成した。
• 本手法は推論時に柔軟性を有する：再トレーニングを必要とせず、サンプリングインターバルの調整によりテクスチャの豊かさを制御可能であり、これはGANベースのモデルにはない機能である。