[논문 리뷰] Bridging CLIP and StyleGAN through Latent Alignment for Image Editing

Wanfeng Zheng, Qiang Li외 3명|arXiv (Cornell University)|2022. 10. 10.

Advanced Image and Video Retrieval Techniques인용 수 7

한 줄 요약

이 논문은 CLIP와 StyleGAN을 잠재 공간 정렬을 통해 연결하는 데이터 프리(data-free) 방법인 CSLA를 제안한다. 이는 테스트 시 최적화 없이도 다양하고 고해상도의 텍스트 기반 이미지 편집을 가능하게 한다. 시간적 상대 일관성과 적응형 스타일 믹싱을 활용한 잠재 잔차 매핑을 통해 신원을 유지하면서도 고성능의 편집 결과를 달성하며, 추가 학습 데이터나 테스트 시 최적화 없이도 텍스트 기반 이미지 생성이 가능하다.

ABSTRACT

Text-driven image manipulation is developed since the vision-language model (CLIP) has been proposed. Previous work has adopted CLIP to design a text-image consistency-based objective to address this issue. However, these methods require either test-time optimization or image feature cluster analysis for single-mode manipulation direction. In this paper, we manage to achieve inference-time optimization-free diverse manipulation direction mining by bridging CLIP and StyleGAN through Latent Alignment (CSLA). More specifically, our efforts consist of three parts: 1) a data-free training strategy to train latent mappers to bridge the latent space of CLIP and StyleGAN; 2) for more precise mapping, temporal relative consistency is proposed to address the knowledge distribution bias problem among different latent spaces; 3) to refine the mapped latent in s space, adaptive style mixing is also proposed. With this mapping scheme, we can achieve GAN inversion, text-to-image generation and text-driven image manipulation. Qualitative and quantitative comparisons are made to demonstrate the effectiveness of our method.

연구 동기 및 목표

• 테스트 시 최적화 또는 클러스터 분석을 요구하는 기존 텍스트 기반 이미지 편집 방법의 비효율성을 해결한다.
• CLIP와 StyleGAN의 잠재 공간 간 지식 분포 편향을 극복하여 직접적인 잠재 공간 매핑 시 왜곡을 방지한다.
• 추가 데이터나 추론 시 계산 없이도 임의의 다양한 편집 모드를 가능하게 하기 위해 데이터 프리 방식으로 잠재 매핑기(latent mapper)를 학습한다.
• 통합된 잠재 정렬 프레임워크를 통해 GAN 역인version, 텍스트 기반 이미지 생성, 텍스트 기반 편집 등 다양한 후행 작업을 지원한다.

제안 방법

• 외부 데이터셋에 의존하지 않는 데이터 프리 학습 전략을 제안하여, CLIP 잠재 공간의 잠재 벡터를 StyleGAN의 w 및 s 공간으로 매핑하는 잠재 매핑기를 학습한다.
• 잠재 잔차 매핑을 도입한다: 전체 잠재 벡터가 아닌 기준 이미지로부터의 차이(Δf_I)를 매핑함으로써 분포 편향을 감소시킨다.
• 시간적 상대 일관성(Temporal Relative Consistency, TRC)을 적용하여 CLIP 공간 내에서 동적으로 편집 중심을 선택함으로써 CLIP와 StyleGAN 간 지식 분산을 최소화한다.
• s 공간에서 조정 신호를 학습하는 적응형 스타일 믹싱(Adaptive Style Mixing, ASM) 모듈을 설계하여 Δs를 정밀하게 조정하고 이미지 품질을 향상시킨다.
• 텍스트 임bedding을 StyleGAN 잠재 공간에 투영함으로써 CLIP의 이미지 및 텍스트 인코더를 활용해 GAN 역인version과 텍스트 조건 기반 이미지 생성을 수행한다.
• 대조 손실(contrastive loss)을 사용해 CLIP와 StyleGAN 표현 간의 정렬을 엔드 투 엔드로 학습함으로써, 미사용 텍스트 프롬프트에 대한 제로샷 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 테스트 시 최적화 없이도 고품질이고 다양한 편집 방향을 유지하면서도 텍스트 기반 이미지 편집을 수행할 수 있는가?
• RQ2 CLIP와 StyleGAN의 잠재 공간 간 지식 분포 편향은 편집 정확도에 어떤 영향을 미치며, 잔차 기반 매핑을 통해 이를 완화할 수 있는가?
• RQ3 시간적 상대 일관성은 동적으로 편집 중심을 선택함으로써 잠재 매핑의 정확성과 내성에 기여하는가?
• RQ4 적응형 스타일 믹싱은 s 공간에서 생성된 잠재 코드를 정밀하게 조정하여 이미지 품질과 텍스트 프롬프트와의 일치도를 향상시키는가?
• RQ5 통합된 잠재 정렬 프레임워크는 추가 데이터나 파라미터 튜닝 없이 GAN 역인version, 텍스트 기반 이미지 생성, 편집 작업을 얼마나 잘 지원하는가?

주요 결과

• 제안된 CSLA 방법은 텍스트 기반 이미지 편집 분야에서 최신 기술(SOTA) 수준의 성능을 달성하였으며, 양적·정량적 평가에서 모두 StyleCLIP-optim 및 StyleMC를 앞서나갔다.
• 얼굴 신원 메트릭( ArcFace)에서, CSLA는 안경 편집 시 0.82의 점수를 기록하여 StyleCLIP-optim(0.62) 및 StyleMC(0.69)를 뛰어넘었다.
• 텍스트 일관성( CLIP 제로샷 정확도)에서, CSLA는 안경에 대해 0.65, 미소에 대해 0.99, 나이에 대해 0.56를 기록하여 모든 편집 모드에서 기준 모델들을 초월했다.
• 절단 실험(Ablation studies) 결과, Δs 매핑기 사용이 텍스트 일관성을 향상시키며, ASM이 이미지 품질을 향상시키고, TRC가 특히 미세한 특성(예: 웨이브, 마이크로폰)에 대해 결과를 더욱 정교하게 다듬는 것으로 확인되었다.
• 테스트 시 최적화 없이도 빠른 추론 속도를 확보하였으며, SOTA 방법들 중 상위 수준의 추론 속도를 기록했고, 임의의 편집 모드를 지원한다.
• CSLA는 오직 CLIP의 인코더만을 사용하여 GAN 역인복과 텍스트 기반 이미지 생성을 성공적으로 수행하였으며, 이는 프레임워크의 유연성과 일반화 능력을 입증한다.