[論文レビュー] SDDM: Score-Decomposed Diffusion Models on Manifolds for Unpaired Image-to-Image Translation

Shikun Sun, Longhui Wei+3 more|arXiv (Cornell University)|Aug 4, 2023

Mycobacterium research and diagnosis被引用数 4

ひとこと要約

SDDMは、非ペaired画像対画像翻訳のための多様体に基づくスコア分解拡散モデルを提案し、多様体最適化を用いてスコア関数をノイズ除去とコンテンツ精錬の成分に分解する。ブロック適応的インスタンス正規化（BAdaIN）と多目的最適化を活用することで、従来のSBDMベースの手法と比較して著しく少ない拡散ステップで最先端の性能を達成する。

ABSTRACT

Recent score-based diffusion models (SBDMs) show promising results in unpaired image-to-image translation (I2I). However, existing methods, either energy-based or statistically-based, provide no explicit form of the interfered intermediate generative distributions. This work presents a new score-decomposed diffusion model (SDDM) on manifolds to explicitly optimize the tangled distributions during image generation. SDDM derives manifolds to make the distributions of adjacent time steps separable and decompose the score function or energy guidance into an image ``denoising" part and a content ``refinement" part. To refine the image in the same noise level, we equalize the refinement parts of the score function and energy guidance, which permits multi-objective optimization on the manifold. We also leverage the block adaptive instance normalization module to construct manifolds with lower dimensions but still concentrated with the perturbed reference image. SDDM outperforms existing SBDM-based methods with much fewer diffusion steps on several I2I benchmarks.

研究の動機と目的

• 既存のスコアベース拡散モデル（SBDM）における非ペアド画像対画像翻訳の分野で、中間生成分布に対する明示的な制御の欠如に対処すること。
• 画像生成中にスコア関数のノイズ除去とコンテンツ精錬の成分を明示的に分離すること。
• 多様体上でスコアとエネルギーガイダンスの精錬部分を均等化することにより、多目的最適化を可能にすること。
• ブロック適応的インスタンス正規化（BAdaIN）モジュールを用いて、低次元かつ濃縮された多様体を構築し、最適化効率を向上させること。
• 従来のSBDMベースの手法と比較して、より少ない拡散ステップで生成品質と収束速度を向上させること。

提案手法

• SDDMは、接空間を用いてスコア関数をノイズ除去部とコンテンツ精錬部に分離する多様体に基づく最適化フレームワークを導入する。
• 本手法は、スコア関数とエネルギーガイダンスを並列に最適化可能な成分に分解し、多目的学習を可能にする。
• ブロック適応的インスタンス正規化（BAdaIN）を用いて、摂動を加えた基準画像の周囲に集中する低次元多様体を構築し、従来のローパassingフィルタの代わりに使用する。
• スコアとエネルギーガイダンスの両方の精錬部分を等価にすることで、バランスの取れた勾配結合を可能にする。
• 反復的精錬方針を適用し、特に重要な中間時間ステップ $T_0$ で反復回数を増加させることで、過剰な計算コストを抑えたまま忠実度を向上させる。
• ブロック数と $T_0$ 選択に関する消去実験を通じてフレームワークの妥当性を検証し、FIDとSSIMのトレードオフが改善されたことを示した。

Figure 1: The overview of our SDDM. At each time step, compared with directly adding energy guidance to the score function, we firstly use the moments of the distribution $\mathbf{y}_{t}$ as constraints to get the manifolds $\mathcal{M}_{t}$ at each time step $t$ . Then, we restrict potential energy

実験結果

リサーチクエスチョン

• RQ1 スコアベース拡散モデルにおける中間分布は、非ペアド画像対画像翻訳の画像生成中に明示的に最適化可能か？
• RQ2 スコア関数は、より良い制御を得るために、明確にノイズ除去とコンテンツ精錬の成分に分解可能か？
• RQ3 多様体に基づく最適化は、隣接する時間ステップの分布を分離し、ガイダンス成分間の干渉を低減可能か？
• RQ4 条件付き生成のための多様体を構築する際、従来のローパassingフィルタと比較してBAdaINを用いることでどのような影響があるか？
• RQ5 スコアとエネルギーガイダンスの多目的最適化は、より少ない拡散ステップで生成品質をどのように向上させるか？

主な発見

• SDDMは、FF-HorseデータセットでFID 62.29、SSIM 0.422を達成し、従来のSBDMベースの手法と比較してより少ない拡散ステップで優れた性能を示した。
• 時間ステップ $T_0$ で反復回数を増加させるポリシー3が、FIDとSSIMのバランスを最良にした。これは、局所的精錬が最小限のコストで性能向上をもたらすことを示している。
• 16×16のブロックが忠実度と詳細のトレードオフにおいて最良の結果をもたらした。8×8ブロックはFIDは低いがSSIMが悪く、32×32ブロックは性能を劣化させた。
• BAdaINを用いて構築された多様体は、摂動を加えた基準画像と同等に集中しており、効果的な分解と最適化を可能にした。
• スコアとエネルギーガイダンスの精錬部分を均等化することで、ガイダンス成分間の干渉を低減し、より安定的かつ制御可能な生成を実現した。
• SDDMは2つのI2Iベンチマークで優れた性能を示し、スコア分解と多様体に基づく多目的最適化の有効性を確認した。

Figure 2: The mean and standard deviation of $L_{2}$ norms of $\mathbf{s}_{r}$ in $T_{\mathbf{x}_{t}}\mathcal{M}$ and other part in $N_{\mathbf{x}_{t}}\mathcal{M}$ . We repeat 100 times of our SDDM with different reference images.