[논문 리뷰] Conditional Score Guidance for Text-Driven Image-to-Image Translation

Hyun‐Soo Lee, Minsoo Kang외 1명|arXiv (Cornell University)|2023. 05. 29.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 사전 학습된 텍스트-이미지 확산 모델을 사용하여 텍스트 기반 이미지 간 이미지 번역을 위한 훈련 없이 조건부 스코어 가이던스 방법을 제안한다. 기존의 이미지와 텍스트를 모두 고려하는 새로운 조건부 스코어 함수와 크로스 어텐션 믹업 기법을 도입함으로써, 배경 콘텐츠를 유지하면서 특정 이미지 영역의 고해상도 편집을 가능하게 하며, 기존 방법들보다 구조적 충실도와 편집 일관성에서 뛰어난 성능을 보인다.

ABSTRACT

We present a novel algorithm for text-driven image-to-image translation based on a pretrained text-to-image diffusion model. Our method aims to generate a target image by selectively editing the regions of interest in a source image, defined by a modifying text, while preserving the remaining parts. In contrast to existing techniques that solely rely on a target prompt, we introduce a new score function that additionally considers both the source image and the source text prompt, tailored to address specific translation tasks. To this end, we derive the conditional score function in a principled manner, decomposing it into the standard score and a guiding term for target image generation. For the gradient computation of the guiding term, we assume a Gaussian distribution of the posterior distribution and estimate its mean and variance to adjust the gradient without additional training. In addition, to improve the quality of the conditional score guidance, we incorporate a simple yet effective mixup technique, which combines two cross-attention maps derived from the source and target latents. This strategy is effective for promoting a desirable fusion of the invariant parts in the source image and the edited regions aligned with the target prompt, leading to high-fidelity target image generation. Through comprehensive experiments, we demonstrate that our approach achieves outstanding image-to-image translation performance on various tasks.

연구 동기 및 목표

• 기존의 텍스트-이미지 확산 모델이 이미지 간 번역을 수행할 때의 제어 불가능성 문제를 해결하기 위해.
• 수정된 텍스트에 기반해 특정 이미지 영역을 정밀하게 편집하면서 나머지 이미지 부분을 유지하기 위해.
• 소스 이미지와 소스 텍스트 컨텍스트를 활용해 훈련 없이도 확산 샘플링의 가이던스를 향상시키는 방법을 개발하기 위해.
• 소스 및 타겟 잠재 표현을 융합하는 새로운 크로스 어텐션 믹업 전략을 통해 생성 품질을 향상시키기 위해.
• 번역 전후의 이미지 간 쌍별 관계 보존 정도를 평가하기 위한 새로운 메트릭을 도입하기 위해.

제안 방법

• 목표 텍스트에 조건부로 된 표준 스코어에 더해, 타겟 잠재변수와 타겟 프롬프트를 기반으로 한 소스 잠재변수의 사후분포에 기반한 가이딩 항목을 포함하는 조건부 스코어 함수를 유도한다.
• 사후분포를 가우시안으로 모델링하여, 추가 훈련 없이도 가우시안의 평균과 공분산을 추정함으로써 가이딩 기울기를 계산한다.
• 각 노이즈 제거 단계에서 소스 및 타겟 잠재변수의 크로스 어텐션 맵을 적응적으로 혼합하는 크로스 어텐션 믹업 기법을 도입한다.
• DDIM 샘플링 중에 조건부 스코어 가이던스를 적용하여, 구조적 일관성을 유지하면서도 원하는 편집 방향으로 확산 과정을 이끌어낸다.
• 텍스트 프롬프트에 대해 CLIP 인코딩을 사용하고, 사전 학습된 확산 모델(예: Stable Diffusion)의 잠재공간 표현을 활용한다.
• 배경 마스크를 사용하여 가우시안 사후분포의 공분산 행렬을 추정함으로써, 지도된 영역에 집중된 가이딩을 가능하게 한다.

실험 결과

연구 질문

• RQ1 소스 이미지와 소스 텍스트를 모두 포함하는 조건부 스코어 함수가 텍스트 기반 이미지 간 번역에서 제어력을 향상시키는가?
• RQ2 소스 잠재변수의 가우시안 사후분포에 기반한 제안된 가이딩 항목이 미세조정 없이도 편집 충실도를 향상시키는가?
• RQ3 크로스 어텐션 믹업 기법이 생성된 이미지에서 불변 배경과 편집된 영역의 융합을 얼마나 향상시키는가?
• RQ4 기존의 훈련 없이 조정하는 방법과 미세조정된 방법과 비교해 본다면, 이 방법은 소스 및 타겟 이미지 간의 구조적 관계 보존에 얼마나 효과적인가?
• RQ5 쌍별 이미지 관계를 측정하는 새로운 메트릭이 번역 충실도 평가에 효과적으로 기여하는가?

주요 결과

• 제안된 방법 CSG는 모든 평가 작업에서 최고의 구조적 충실도(SD)와 영역 기반 편집 일관성(RD)을 달성하며, DDIM 및 Prompt-to-Prompt과 같은 베이스라인을 모두 능가한다.
• LAION 5B 데이터셋에서 '개 → 고양이' 작업에서 CSG는 SD 0.0150, RD 0.0192를 기록했으며, 이는 DDIM(SD: 0.0748, RD: 0.4608)보다 유의미하게 낮은 수준이다.
• 제거 실험 결과에 따르면, 조건부 스코어 가이던스와 크로스 어텐션 믹업 모두 성능 향상에 기여하며, 믹업 기법이 없는 CSG 대비 유의미한 개선을 보였다.
• 정성적 결과에서는 CSG가 배경의 구조를 유지하면서도 목표 객체(예: 고양이 → 개)만 정확히 편집하는 데 성공한 반면, 다른 방법들은 전체 이미지를 변경하는 경향을 보였다.
• 이 방법은 Pix2Pix-Zero보다도 더 효율적이며, 노이즈 네트워크를 거쳐 역전파를 수행하지 않아 메모리 소비와 추론 시간을 줄였다.
• 쌍별 관계 충실도를 측정하는 제안된 메트릭은, 기존 메트릭인 CLIP 점수(CS)가 낮을지라도 CSG가 기존 방법보다 더 나은 구조적 일관성을 유지함을 보여주었다.