[논문 리뷰] SDDM: Score-Decomposed Diffusion Models on Manifolds for Unpaired Image-to-Image Translation

Shikun Sun, Longhui Wei외 3명|arXiv (Cornell University)|2023. 08. 04.

Mycobacterium research and diagnosis인용 수 4

한 줄 요약

SDDM는 비쌍체 이미지 간 번역을 위한 다양체 기반 점수 분해 확산 모델을 제안하며, 다양체 기반 최적화를 통해 점수 함수를 노이즈 제거 및 콘텐츠 정밀화 성분으로 분해한다. 블록 적응형 인스턴스 정규화(BAdaIN)와 다목적 최적화를 활용하여 기존 SBDM 기반 방법들보다 훨씬 적은 확산 단계로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent score-based diffusion models (SBDMs) show promising results in unpaired image-to-image translation (I2I). However, existing methods, either energy-based or statistically-based, provide no explicit form of the interfered intermediate generative distributions. This work presents a new score-decomposed diffusion model (SDDM) on manifolds to explicitly optimize the tangled distributions during image generation. SDDM derives manifolds to make the distributions of adjacent time steps separable and decompose the score function or energy guidance into an image ``denoising" part and a content ``refinement" part. To refine the image in the same noise level, we equalize the refinement parts of the score function and energy guidance, which permits multi-objective optimization on the manifold. We also leverage the block adaptive instance normalization module to construct manifolds with lower dimensions but still concentrated with the perturbed reference image. SDDM outperforms existing SBDM-based methods with much fewer diffusion steps on several I2I benchmarks.

연구 동기 및 목표

• 기존 점수 기반 확산 모델(SBDM)에서 비쌍체 이미지 간 번역을 위한 중간 생성 분포에 대한 명시적 제어 부족 문제를 해결하기 위해.
• 이미지 생성 중에 점수 함수의 노이즈 제거 및 콘텐츠 정밀화 성분을 명시적으로 분리하기 위해.
• 다양체 상에서 점수 및 에너지 가이드라인의 정밀화 부분을 동일하게 하여 다목적 최적화를 가능하게 하기 위해.
• 블록 적응형 인스턴스 정규화(BAdaIN) 모듈을 사용해 저차원이고 집중된 다양체를 구축하여 최적화 효율성을 향상시키기 위해.
• 기존 SBDM 기반 접근 방식에 비해 더 적은 확산 단계로 생성 품질과 수렴 속도를 향상시키기 위해.

제안 방법

• SDDM은 탄성 공간이 점수 함수를 노이즈 제거 부분과 콘텐츠 정밀화 부분으로 분리하는 다양체 기반 최적화 프레임워크를 도입한다.
• 이 방법은 점수 함수와 에너지 가이드라인을 동시에 최적화 가능한 성분으로 분해하여 다목적 학습이 가능하도록 한다.
• 블록 적응형 인스턴스 정규화(BAdaIN)는 기존의 저역통과 필터를 대체하여 변형된 기준 이미지 주변으로 집중된 저차원 다양체를 생성한다.
• 점수 및 에너지 가이드라인의 정밀화 부분을 동일하게 하여 균형 잡힌 기울기 조합이 가능하도록 모델이 강제된다.
• 반복적인 정밀화 정책을 적용하며, 핵심 중간 시간 단계 $T_0$에서 반복 횟수를 증가시켜 정밀도를 향상시키되 과도한 계산 비용을 피한다.
• 블록 수와 $T_0$ 선택에 대한 추론 실험을 통해 FID와 SSIM 간의 개선된 트레이드오프를 입증하였다.

Figure 1: The overview of our SDDM. At each time step, compared with directly adding energy guidance to the score function, we firstly use the moments of the distribution $\mathbf{y}_{t}$ as constraints to get the manifolds $\mathcal{M}_{t}$ at each time step $t$ . Then, we restrict potential energy

실험 결과

연구 질문

• RQ1 점수 기반 확산 모델에서 비쌍체 이미지 간 번역을 위한 이미지 생성 중에 중간 분포를 명시적으로 최적화할 수 있는가?
• RQ2 점수 함수를 더 나은 제어를 위해 노이즈 제거 및 콘텐츠 정밀화 성분으로 분해할 수 있는가?
• RQ3 다양체 기반 최적화로 인접한 시간 단계 분포를 분리하여 가이드라인 성분 간 간섭을 줄일 수 있는가?
• RQ4 조건부 생성을 위한 다양체를 구축할 때 기존의 저역통과 필터에 비해 BAdaIN를 사용할 경우 어떤 영향을 미치는가?
• RQ5 점수 및 에너지 가이드라인의 다목적 최적화가 더 적은 확산 단계로 생성 품질을 향상시키는 데 기여하는가?

주요 결과

• SDDM은 FF-Horse 데이터셋에서 FID 62.29와 SSIM 0.422를 기록하여 기존 SBDM 기반 방법들보다 더 적은 확산 단계로도 슈퍼리어한 성능을 달성했다.
• 정책 3는 $T_0$에서 반복 횟수를 증가시키며 FID와 SSIM 간 최적의 균형을 이룬다. 이는 표적 정밀화가 최소한의 비용으로 성능 향상을 이끌 수 있음을 시사한다.
• $16\times16$ 블록 사용이 정밀도와 세부 사항 간 최적의 트레이드오프를 이룬다. $8\times8$ 블록은 FID는 낮추지만 SSIM은 열 劣화되며, $32\times32$ 블록은 성능을 떨어뜨린다.
• BAdaIN를 통해 구축된 다양체는 변형된 기준 이미지와 동일하게 집중되어 있어 효과적인 분해 및 최적화를 가능하게 한다.
• 점수 및 에너지 가이드라인의 정밀화 부분을 동일하게 하여 가이드라인 성분 간 간섭을 줄였고, 이로 인해 더 안정적이고 제어 가능한 생성이 가능해졌다.
• SDDM은 두 개의 I2I 벤치마크에서 뛰어난 성능을 보이며 점수 분해와 다양체 기반 다목적 최적화의 효과성을 확인했다.

Figure 2: The mean and standard deviation of $L_{2}$ norms of $\mathbf{s}_{r}$ in $T_{\mathbf{x}_{t}}\mathcal{M}$ and other part in $N_{\mathbf{x}_{t}}\mathcal{M}$ . We repeat 100 times of our SDDM with different reference images.