[논문 리뷰] Photoswap: Personalized Subject Swapping in Images

Jing Gu, Yilin Wang외 9명|arXiv (Cornell University)|2023. 05. 29.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

Photoswap은 확산 모델의 주의 교환을 통해 학습 없이 원본 이미지에 개인화된 주제 개념을 전달함으로써 포즈와 배경을 보존하고, 사람 평가에서 기준 방법을 상회하는 주제 교체를 가능하게 한다.

ABSTRACT

In an era where images and visual content dominate our digital landscape, the ability to manipulate and personalize these images has become a necessity. Envision seamlessly substituting a tabby cat lounging on a sunlit window sill in a photograph with your own playful puppy, all while preserving the original charm and composition of the image. We present Photoswap, a novel approach that enables this immersive image editing experience through personalized subject swapping in existing images. Photoswap first learns the visual concept of the subject from reference images and then swaps it into the target image using pre-trained diffusion models in a training-free manner. We establish that a well-conceptualized visual subject can be seamlessly transferred to any image with appropriate self-attention and cross-attention manipulation, maintaining the pose of the swapped subject and the overall coherence of the image. Comprehensive experiments underscore the efficacy and controllability of Photoswap in personalized subject swapping. Furthermore, Photoswap significantly outperforms baseline methods in human ratings across subject swapping, background preservation, and overall quality, revealing its vast application potential, from entertainment to professional editing.

연구 동기 및 목표

• 이미지에서 개인화된 주제 교체를 위한 프레임워크를 도입한다.
• 테스트 시 추가 학습 없이 확산 모델을 사용해 참조 이미지에서 대상 주제를 학습한다.
• 원본 이미지의 어텐션 구성요소를 전이해 매끄러운 주제 교체를 유도한다.
• 참조 주제를 삽입하면서 포즈와 전체 구성을 보존한다.
• 광범위한 실험 및 인간 평가를 통해 효과를 입증한다.

제안 방법

• DreamBooth 또는 유사한 컨셉 학습을 사용해 참조 이미지에서 대상 주체 O_t를 학습하고 특수 토큰을 생성한다.
• 사전 학습된 확산 모델을 미세조정해 새로운 컨셉을 도입하되 전체 모델의 테스트 시 미세조정은 수행하지 않는다.
• 원본 이미지 생성에서 self-attention M, self-attention 출력 phi, 그리고 cross-attention A를 추출하고 이후 이러한 중간 변수를 대상 이미지 생성 프로세스로 교환한다.
• 초기 확산 단계에서 phi, M, A를 원본 이미지의 대응값으로 교체하되 대상 아이덴티티를 보존하기 위해 대상 프롬프트의 cross-attention 출력 psi는 고정해 둔다.
• 실제 이미지에 대해 null-text 최적화를 포함한 개선된 DDIM 역변환을 사용하여 신뢰할 수 있는 시작 잡음 z_T를 얻는다.
• 레이아웃 보존과 주체 아이덴티티의 균형을 맞추기 위해 단계 파라미터(lambda_phi, lambda_M, lambda_A)로 교환을 제어한다.
• 전체 확산 모델을 미세조정하지 않고 주의 교환을 수행하기 위한 학습 없는 알고리즘(Algorithm 1)을 제공한다.

실험 결과

연구 질문

• RQ1 잘 개념화된 시각적 주제가 포즈와 이미지의 일관성을 유지하면서 매끄럽게 대상 이미지로 전이될 수 있는가?
• RQ2 학습 없이 확산 모델의 주의 조작이 참조 이미지를 사용한 개인화된 주제 교환을 어떤 정도까지 가능하게 하는가?
• RQ3 다른 주의 구성요소(phi, M, A)가 레이아웃 보존과 아이덴티티 전이에 어떻게 기여하는가?
• RQ4 개념 학습 방법(DreamBooth 대 Text Inversion)의 교환 품질에 대한 영향은 무엇인가?
• RQ5 주제 교환, 배경 보존, 전반적 품질에 대한 인간 평가에서 Photoswap의 성능은 기본 방법과 비교해 어떠한가?

주요 결과

카테고리	Photoswap	P2P+DreamBooth	동점
주제 교체	46.8%	25.6%	27.6%
배경 보존	40.7%	32.7%	26.6%
전반적 품질	50.8%	28.0%	21.2%

• Photoswap은 합성 이미지와 실제 이미지 전반에서 포즈와 전체 이미지 일관성을 보존하며 매끄러운 주제 교체를 가능하게 한다.
• 인간 평가에서 Photoswap은 주제 교체, 배경 보존 및 전반적 품질 면에서 P2P+DreamBooth를 능가한다(예: 전반적 품질 50.8% 대 28.0%).
• self-attention 출력(phi)을 교환하는 것이 cross-attention만 사용하는 것보다 레이아웃 제어를 더 강하게 하며, 교환을 일찍 시작하는 것이 원본 이미지 레이아웃을 유지하는 데 중요하다.
• 교차 어텐션 맵(A)은 레이아웃에 도움이 되지만 지나치게 교환하면 프롬프트 정보를 누설할 수 있으며, 목표 아이덴티티를 유지하려면 대상 프롬프트에서 psi를 고정해야 한다.
• DreamBooth 기반의 컨셉 학습이 효과적임이 입증되었고, Text Inversion도 작동할 수 있지만 얼굴 같은 복잡한 주제에는 성능이 떨어질 수 있다.
• Photoswap은 다주체 및 가려진 주체 상황에서도 견고함을 보여주며 역변환으로 실제 이미지도 처리할 수 있다.