[논문 리뷰] FlexIT: Towards Flexible Semantic Image Translation

Guillaume Couairon, Asya Grechka외 3명|arXiv (Cornell University)|2022. 03. 09.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

FlexIT는 재학습이 필요 없이 고품질의 자유형 이미지 편집을 수행할 수 있는 텍스트 기반 유연한 시맨틱 이미지 번역 방법을 제안한다. 이는 CLIP의 다중모달 임베딩 공간과 오토에코더의 잠재공간을 활용하여, 이미지 재구성과 시맨틱 정렬을 위한 새로운 정규화를 최적화함으로써 '돼지의 귀'에서 '실리콘 지갑'과 같은 분포 외 이미지에 대해서도 자연스러운 편집을 가능하게 한다. ImageNet에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Deep generative models, like GANs, have considerably improved the state of the art in image synthesis, and are able to generate near photo-realistic images in structured domains such as human faces. Based on this success, recent work on image editing proceeds by projecting images to the GAN latent space and manipulating the latent vector. However, these approaches are limited in that only images from a narrow domain can be transformed, and with only a limited number of editing operations. We propose FlexIT, a novel method which can take any input image and a user-defined text instruction for editing. Our method achieves flexible and natural editing, pushing the limits of semantic image translation. First, FlexIT combines the input image and text into a single target point in the CLIP multimodal embedding space. Via the latent space of an auto-encoder, we iteratively transform the input image toward the target point, ensuring coherence and quality with a variety of novel regularization terms. We propose an evaluation protocol for semantic image translation, and thoroughly evaluate our method on ImageNet. Code will be made publicly available.

연구 동기 및 목표

• 기존 GAN 기반 이미지 편집 방법이 좁은 도메인과 사전 정의된 편집 작업에 국한되어 있는 한계를 해결한다.
• 어떤 입력 이미지이든 도메인에 관계없이 자유형 텍스트, 사용자 정의 이미지 변환(예: '고양이 → 개')을 가능하게 한다.
• 훈련 없이도 사용 가능한 오프더쇼프 프레임워크를 개발하여 사전 훈련된 컴ponent만을 사용해 광범위한 적용성을 확보한다.
• 이미지 품질, 시맨틱 정확도, 관련 없는 콘텐츠의 유지 여부를 기반으로 한 강력한 평가 프로토콜을 제안한다.

제안 방법

• 목표 편집를 정의하기 위해 입력 이미지와 텍스트 지시어를 하나의 CLIP 다중모달 임베딩 공간 내 목표 점으로 통합한다.
• VQ-GAN 오토에코더의 잠재공간에서 이미지를 최적화하여 목표 CLIP 임베딩과의 거리를 최소화하면서도 이미지 품질을 유지한다.
• 실제성과 일관성을 보장하기 위해 픽셀 수준(LPIPS), 잠재공간(z-정규화), 이미지 수준(인painting 방식)의 새로운 정규화 항을 적용한다.
• 학습된 스텝 사이즈를 사용한 반복 최적화를 통해 이미지를 목표 임베딩 쪽으로 점진적으로 변형함으로써 모드 붕괴나 아티팩트를 방지한다.
• fine-tuning이나 쌍화된 데이터가 필요 없이 CLIP의 제로샷 능력을 활용해 텍스트 쿼리를 지도 없이 정렬한다.
• 시맨틱 정확도와 시각적 정밀도를 균형 있게 유지하기 위해 CLIP 유사도, LPIPS, 재구성 손실을 조합한 다목적 손실을 사용한다.

실험 결과

연구 질문

• RQ1 도메인 특화 훈련이 필요 없이 다양한 분포 외 이미지에 대해 일반화되는 텍스트 기반 이미지 편집 방법은 가능한가?
• RQ2 자유형 텍스트 프롬프트로 이미지 편집을 수행할 때, GAN 잠재공간에 비해 VQ-GAN 잠재공간은 얼마나 효과적인가?
• RQ3 정규화 항이 텍스트 기반 이미지 번역에서 이미지 품질과 시맨틱 일관성을 얼마나 향상시킬 수 있는가?
• RQ4 ImageNet 기반의 통합 평가 프로토콜은 여러 기준(이미지 품질, 시맨틱 정확도, 콘텐츠 유지)을 기반으로 시맨틱 이미지 번역 성능을 신뢰성 있게 평가할 수 있는가?

주요 결과

• Semantic alignment과 이미지 품질을 최적화할 때, FlexIT는 기존의 기준들(IC-GAN, StyleGAN2)보다 훨씬 낮은 CSFID 점수를 기록한다.
• 원시 픽셀 공간을 사용하는 것에 비해 VQ-GAN 잠재공간 최적화의 효과를 입증하기 위해 최대 30%까지 CSFID 점수를 감소시켰다.
• 하이퍼파라미터 분석 결과, 최적의 정규화는 편집 정확도와 이미지 현실감을 균형 있게 유지하며, CSFID 점수에 명확한 최소값을 보였다.
• 제로샷 시맨틱 전이 정확도가 높고 입력 이미지와의 LPIPS가 낮다는 점을 통해, 관련 없는 시각적 요소를 효과적으로 유지함을 검증했다.
• ImageNet에서의 평가 결과, FlexIT는 시맨틱 정확도와 시각적 자연스러움을 포함한 정량적·정성적 지표에서 기존 방법을 모두 능가했다.
• 이 방법은 얼굴 외의 객체인 동물, 차량 등 다양한 이미지를 높은 정밀도로 목표 클래스로 성공적으로 변환했다.