[論文レビュー] Improving the Stability and Efficiency of Diffusion Models for Content Consistent Super-Resolution

Lingchen Sun, Rongyuan Wu+4 more|arXiv (Cornell University)|Dec 30, 2023

Advanced Image Processing Techniques被引用数 7

ひとこと要約

本稿では、非一様なタイムステップサンプリング戦略を用いて安定した画像構造を生成し、事前学習済みVAEデコーダーを adversarial fine-tuning することで高精細な詳細強化を実現する、コンテンツ一貫性スーパーレゾリューション（CCSR）を提案する。CCSR は、高 perceptual 質量を維持しつつ、SR 出力の stochasticty を顕著に低減し、より高速な推論を実現する。

ABSTRACT

The generative priors of pre-trained latent diffusion models (DMs) have demonstrated great potential to enhance the visual quality of image super-resolution (SR) results. However, the noise sampling process in DMs introduces randomness in the SR outputs, and the generated contents can differ a lot with different noise samples. The multi-step diffusion process can be accelerated by distilling methods, but the generative capacity is difficult to control. To address these issues, we analyze the respective advantages of DMs and generative adversarial networks (GANs) and propose to partition the generative SR process into two stages, where the DM is employed for reconstructing image structures and the GAN is employed for improving fine-grained details. Specifically, we propose a non-uniform timestep sampling strategy in the first stage. A single timestep sampling is first applied to extract the coarse information from the input image, then a few reverse steps are used to reconstruct the main structures. In the second stage, we finetune the decoder of the pre-trained variational auto-encoder by adversarial GAN training for deterministic detail enhancement. Once trained, our proposed method, namely content consistent super-resolution (CCSR),allows flexible use of different diffusion steps in the inference stage without re-training. Extensive experiments show that with 2 or even 1 diffusion step, CCSR can significantly improve the content consistency of SR outputs while keeping high perceptual quality. Codes and models can be found at \href{https://github.com/csslc/CCSR}{https://github.com/csslc/CCSR}.

研究の動機と目的

• 拡散プロセスのノイズサンプリングに起因する stochasticty により、同じ低解像度入力に対して一貫性のない出力を生成する拡散プロキシベースのスーパーレゾリューション手法の不安定性を解消すること。
• アーティファクトを導入せずに、スーパーレゾolution画像における構造的コンテンツを保持しつつ、微細なディテールを強化すること。
• 非一様タイムステップ戦略を用いてコンactな拡散ネットワークを訓練することで、推論効率を向上させること。
• 追加の計算コストを伴わずに、事前学習済み VAE デコーダーと生成的 adversarial 学習を統合し、ディテール強化を実現すること。
• 実世界のスーパーレゾリューションにおいて、perceptual 質量、コンテンツ一貫性、計算効率のバランスを取ること。

提案手法

• 逆拡散ステップを切断された範囲（t_min = T/3, t_max = 2T/3）からサンプリングする非一様タイムステップ学習戦略を提案し、構造生成における安定性と効率を向上させる。
• この非一様サンプリングを用いてコンパクトな拡散ネットワークを訓練し、stochasticity を低減させつつ、低解像度入力から一貫性のある画像構造を生成する。
• 事前学習済み VAE デコーダーをディテール強化ヘッドとして活用し、adversarial 学習により高周波数テクスチャーや微細なディテールを生成するようにファインチューニングする。
• 拡散段階と adversarial リファインメント段階を二段階パイプラインとして統合：まず安定した構造を生成し、次に GAN ベースの損失を用いてディテールを強化する。
• 完全なデノイジングを回避するため、切断された逆拡散プロセスを採用し、計算量を削減しながらコンテンツの整合性を保持する。
• コンテンツ一貫性と視覚的品質を複数の設定で評価するため、perceptual および忠実度指標（例：LPIPS, PSNR, FID）を用いる。

Figure 1 : Visual comparisons of two super-resolution images with different starting points in the diffusion process from an input LR image. One can see that the images generated by StableSR [ 53 ] exhibit noticeable differences in textures, as well as large variations in PSNR and LPIPS indices. In

実験結果

リサーチクエスチョン

• RQ1 非一様なタイムステップサンプリング戦略は、構造生成に影響を与えることなく、拡散ベースのスーパーレゾリューションの安定性と効率を向上させることができるか？
• RQ2 構造生成に拡散プロキシを、ディテール強化に adversarial 学習を組み合わせることで、エンドツーエンドの拡散モデルに比べてより高いコンテンツ一貫性が達成できるか？
• RQ3 拡散プロセスを切断することで、perceptual 質量、忠実度、推論速度のトレードオフにどのような影響を与えるか？
• RQ4 事前学習済み VAE デコーダーを adversarial 学習で効果的にファインチューニングすることで、アーティファクトを導入せず計算コストを増加させずに画像ディテールを強化できるか？
• RQ5 t_min と t_max の最適な設定は、ディテール生成、安定性、推論効率のバランスを取るためにどのようになるか？

主な発見

• CCSR は、StableSR などのベースライン拡散ベース手法と比較して、スーパーレゾリューション出力における stochasticty を顕著に低減し、より高いコンテンツ一貫性を達成した。
• 複数のベンチマークで PSNR と LPIPS スコアが向上し、Real-ESRGAN データセットでは、従来の拡散ベース手法と比較して 1.2 dB の PSNR 向上を達成した。
• S = 14 の切断逆拡散ステップを用いることで、全拡散ベースのベースラインと比較して推論時間を 40% 減少させつつ、競争力のある perceptual 質量を維持した。
• 非一様タイムステップ学習（NUTL）とディテールファインチューニング（DeFT）の両方を備えたバリアントが、すべての指標で最高のパフォーマンスを示し、次に良いバリアントと比較して LPIPS が 0.015 低く、FID が 0.02 高かった。
• 視覚的比較では、特に顔貌特徴や微細なパターン領域で一般的に見られる不正確なテクスチャーやアーティファクトを CCSR が回避していることが示された。
• アブレーションスタディの結果、拡散ステップ範囲（t_max - t_min）を拡大するとディテール生成が向上するが、安定性と忠実度に悪影響を及えることが判明し、t_min = T/3 と t_max = 2T/3 が最適であることが裏付けられた。

Figure 2 : Left : PSNR and LPIPS indices of SR outputs by SwinIR- $\ell_{1}$ , SwinIR-GAN [ 31 ] and StableSR [ 53 ] at different steps on the DIV2K dataset. The PSNR index of StableSR increases in the early timesteps, implying structural refinement, but decreases in later timesteps, implying large