[논문 리뷰] SyncDiffusion: Coherent Montage via Synchronized Joint Diffusions

Yuseung Lee, Kunho Kim외 2명|arXiv (Cornell University)|2023. 06. 08.

Advanced Vision and Imaging인용 수 4

한 줄 요약

SyncDiffusion는 복수의 디퓨전 프로세스를 노이즈 제거 예측 값 간의 인지적 유사도 손실을 통해 기울기 하강법을 이용해 동기화함으로써 전역 일관성을 향상시키는 플러그 앤 플레이 모듈을 제안한다. 이는 이미지 품질과 프롬프트 일치도를 유지하면서도 기존 방법보다 훨씬 높은 일관성(사용자 연구에서 66.35%)을 달성하며, 공동 디퓨전 접근 방식보다도 이음매의 자연스러움과 의미 일관성에서 뛰어난 성능을 보인다.

ABSTRACT

The remarkable capabilities of pretrained image diffusion models have been utilized not only for generating fixed-size images but also for creating panoramas. However, naive stitching of multiple images often results in visible seams. Recent techniques have attempted to address this issue by performing joint diffusions in multiple windows and averaging latent features in overlapping regions. However, these approaches, which focus on seamless montage generation, often yield incoherent outputs by blending different scenes within a single image. To overcome this limitation, we propose SyncDiffusion, a plug-and-play module that synchronizes multiple diffusions through gradient descent from a perceptual similarity loss. Specifically, we compute the gradient of the perceptual loss using the predicted denoised images at each denoising step, providing meaningful guidance for achieving coherent montages. Our experimental results demonstrate that our method produces significantly more coherent outputs compared to previous methods (66.35% vs. 33.65% in our user study) while still maintaining fidelity (as assessed by GIQA) and compatibility with the input prompt (as measured by CLIP score). We further demonstrate the versatility of our method across three plug-and-play applications: layout-guided image generation, conditional image generation and 360-degree panorama generation. Our project page is at https://syncdiffusion.github.io.

연구 동기 및 목표

• 공동 디퓨전 모델을 사용한 풍경 이미지 생성에서 전역 일관성이 부족한 문제를 해결하기 위해, 특히 스티치된 영역 간에 일관되지 않은 장면을 생성하는 문제를 해결한다.
• 겹치는 영역을 통해 복수의 디퓨전 프로세스를 동기화하여 이음매가 자연스럽고 의미적으로 일관된 몽타주를 생성할 수 있도록 한다.
• 기존 디퓨전 모델과 프롬프팅 프레임워크와 호환되는 제로샷, 플러그 앤 플레이 솔루션을 제공한다.
• 구조적이고 의미적으로 일관성을 향상시키는 동안에도 고해상도 이미지 품질과 프롬프트 호환성을 유지한다.
• 레이아웃 유도 생성, 조건부 이미지 합성, 360도 풍경 생성과 같은 다양한 응용 분야에서의 유연성을 입증한다.

제안 방법

• 각 노이즈 제거 단계에서 서로 다른 이미지 창에서 유도된 노이즈 제거 예측 간의 인지적 유사도 손실을 계산하여 복수의 디퓨전 프로세스를 동기화한다.
• 기울기 하강법을 사용해 인지적 손실 기반으로 노이즈가 있는 잠재 특징을 업데이트함으로써 역방향 디퓨전 프로세스가 일관된 출력으로 향하도록 이끈다.
• 노이즈가 제거된 이미지에서 인지적 손실을 계산함으로써 역전파를 통해 효과적인 가이던스를 제공한다.
• 겹치는 영역에서 잠재 특징을 평균화하는 기존의 공동 디퓨전 프레임워크와 통합되어 국소적인 이음매의 자연스러움을 유지한다.
• 재학습이나 미세조정 없이 사전 훈련된 디퓨전 모델(예: Stable Diffusion 2.0)을 활용하여 제로샷 배포를 가능하게 한다.
• 다양한 인지적 손실(예: LPIPS, 스타일 손실)을 지원하며, 플러그 앤 플레이 통합을 통해 다양한 생성 작업에 적용할 수 있다.

실험 결과

연구 질문

• RQ1 노이즈 제거 예측 값에 기반한 인지적 유사도 손실이 공동 디퓨전을 효과적으로 이끌어 풍경 생성에서 전역 일관성을 향상시킬 수 있는가?
• RQ2 특징 평균화만을 사용하는 것과 비교해, 복수의 디퓨전 프로세스를 기울기 기반으로 동기화하는 방법이 의미 일관성을 유지하는 데 얼마나 효과적인가?
• RQ3 SyncDiffusion는 일관성을 향상시키는 동안 이미지 품질과 프롬프트 일치도를 얼마나 잘 유지하는가?
• RQ4 SyncDiffusion는 레이아웃 기반 생성, 조건부 생성, 360도 이미지 생성과 같은 다양한 생성 작업에 효과적으로 적용될 수 있는가?
• RQ5 기본 공동 디퓨전 대비 동기화 모듈이 도입하는 계산 오버헤드는 어느 정도인가?

주요 결과

• 사용자 연구에서 SyncDiffusion는 66.35%의 일관성을 달성하여 MultiDiffusion의 33.65%보다 두 배 이상 높은 전역 일관성 향상을 입증했다.
• 높은 이미지 품질을 유지하여 GIQA 점수 57.19%를 기록하여 강력한 인지적 충실도를 보였다.
• 프롬프트 호환성은 CLIP 점수 기준 59.50%로 향상되어 이전 방법보다 입력 텍스트 프롬프트와의 일치도가 뛰어났다.
• 레이아웃 기반 이미지 생성에서 이는 일관되지 않거나 부적절한 장면 대신 자연스러운 배경을 생성함으로써 일관성 향상을 효과적으로 달성했다.
• ControlNet을 사용한 조건부 이미지 생성에서는 입력 조건(예: Canny 에지 맵)을 유지하면서도 일관된 다중 시점 출력을 생성했다.
• 360도 풍경 생성에서는 Vanilla MVDiffusion가 분리되거나 모순되는 시야를 생성하는 데 비해, SyncDiffusion는 동일한 장면에서 유도된 것처럼 보이는 시야를 생성했다.