[논문 리뷰] ContraCLIP: Interpretable GAN generation driven by pairs of contrasting sentences

Christos Tzelepis, J. E. Oldfield외 2명|arXiv (Cornell University)|2022. 06. 05.

Multimodal Machine Learning Applications인용 수 8

한 줄 요약

ContraCLIP는 대조적인 자연어 문장 쌍(의미적 이단극)을 사용하여 사전 훈련된 GAN의 비선형적이고 해석 가능한 잠재 경로를 모델에 종속되지 않게 학습하는 방법을 제안한다. 이 문장 쌍들을 CLIP의 시각-언어 공간에 투영하고, RBF 기반 왜곡을 사용하여 방향성 있는 경로를 정의함으로써, 정체성과 의미적 속성에 부합하면서도 매끄럽고 고품질의 이미지 수정을 가능하게 한다. 이는 다양한 GAN 아키텍처와 데이터셋에서 기존 방법들보다 정량적·정성적 기준 모두에서 뛰어난 성능을 보인다.

ABSTRACT

This work addresses the problem of discovering non-linear interpretable paths in the latent space of pre-trained GANs in a model-agnostic manner. In the proposed method, the discovery is driven by a set of pairs of natural language sentences with contrasting semantics, named semantic dipoles, that serve as the limits of the interpretation that we require by the trainable latent paths to encode. By using the pre-trained CLIP encoder, the sentences are projected into the vision-language space, where they serve as dipoles, and where RBF-based warping functions define a set of non-linear directional paths, one for each semantic dipole, allowing in this way traversals from one semantic pole to the other. By defining an objective that discovers paths in the latent space of GANs that generate changes along the desired paths in the vision-language embedding space, we provide an intuitive way of controlling the underlying generative factors and address some of the limitations of the state-of-the-art works, namely, that a) they are typically tailored to specific GAN architectures (i.e., StyleGAN), b) they disregard the relative position of the manipulated and the original image in the image embedding and the relative position of the image and the text embeddings, and c) they lead to abrupt image manipulations and quickly arrive at regions of low density and, thus, low image quality, providing limited control of the generative factors. We provide extensive qualitative and quantitative results that demonstrate our claims with two pre-trained GANs, and make the code and the pre-trained models publicly available at: https://github.com/chi0tzp/ContraCLIP

연구 동기 및 목표

• 사전 훈련된 GAN의 잠재 공간에서 모델에 종속되지 않은 방식으로 비선형적이고 해석 가능한 경로를 탐색하는 것.
• 기존 방법의 한계를 해결하기 위해, 아키텍처에 특화된 설계, 임베딩 공간 내 상대적 위치 忽시, 급격하고 저품질의 이미지 수정을 해결하는 것.
• 사전 훈련된 검출기나 애너테이션 데이터가 필요 없이 자연어를 통해 생성 요소를 직관적으로 의미적으로 제어할 수 있도록 하는 것.
• CLIP 임베딩 공간 내 상대적 위치를 활용하여, 속성 편집 중 고품질의 이미지와 정체성 유지 보장을 보장하는 것.
• 다양한 GAN 아키텍처와 이미지 도메인(비면역 이미지 포함)에 걸쳐 일반화 성능을 입증하는 것.

제안 방법

• 의미적 이단극은 '젊은 사람' 대비 '노인 사람'과 같이 의미가 대조적인 자연어 문장 쌍으로 정의되며, 이는 잠재 경로의 의미적 한계로 기능한다.
• 이 문장들은 CLIP의 시각-언어 공간에 인코딩되며, 그 임베딩이 '이단극'을 형성하여 원하는 잠재 경로의 방향성과 경계를 정의한다.
• RBF 기반 왜곡 함수를 CLIP 텍스트 공간에 적용하여 각 의미적 이단극의 극 사이에서 비선형적이고 매끄러운 방향성 경로를 생성한다.
• 대비 손실을 최적화하여 GAN의 잠재 공간 이동이 CLIP 임베딩 공간의 비선형 경로와 일치하도록 하여, 이미지 생성이 원하는 의미적 궤적을 따르도록 보장한다.
• 이 방법은 생성된 이미지가 목표 텍스트 임베딩과 일치하도록 유도하고, 원본 및 수정된 이미지 간의 상대적 위치를 CLIP 공간에서 유지하도록 하는 손실을 통해 엔드 투 엔드로 훈련된다.
• 이 접근법은 StyleGAN2 및 ProGAN과 같은 다양한 사전 훈련된 GAN에 적용되었으며, AFHQ 고양이, 개, LSUN 자동차 등의 비면역 데이터셋에서도 테스트되어, 얼굴 편집을 넘어서 일반화됨을 입증했다.

실험 결과

연구 질문

• RQ1 의미적으로 대조적인 자연어 문장 쌍만을 사용하여 사전 훈련된 GAN의 잠재 공간에서 비선형적이고 해석 가능한 경로를 탐색할 수 있는가?
• RQ2 제안된 방법은 GAN 아키텍처가 이러한 제어를 위해 특별히 설계되지 않았더라도 정체성 유지와 고품질의 이미지 생성을 보장하는가?
• RQ3 StyleCLIP과 같은 기존 방법과 비교할 때, 이미지 품질, 정체성 유지, 의미 일관성 측면에서 성능은 어떻게 되는가?
• RQ4 대비 손실의 온도나 경로 정규화 가중치와 같은 하이퍼파rameter에 대해 이 방법은 얼마나 강인한가?
• RQ5 이 방법은 얼굴 이미지 외의 다양한 GAN 아키텍처와 이미지 도메인으로 일반화 가능한가?

주요 결과

• 모든 의미적 이단극에서 ContraCLIP는 정체성 유지 점수 평균 0.9245를 기록하여 StyleCLIP*의 평균 0.5624보다 유의미하게 높은 정체성 유지 성능을 보였다.
• 의미적 이단극 '수염 있는 남성의 그림' 대비 '면도한 남성의 그림'에서 ContraCLIP는 정체성 유지 점수 0.9407을 기록하여 얼굴 수염 속성에 대한 효과적인 제어를 입증했다.
• AFHQ 고양이, 개, LSUN 자동차 등의 비면역 데이터셋에서도 고품질이고 의미적으로 일관된 이미지 수정을 생성하여, 얼굴 중심 GAN을 넘어서 일반화됨을 확인했다.
• 제거 실험 결과, 대비 손실의 온도 τ ∈ {0.01, 0.1, 0.5, 1.0, 5.0} 범위에서 안정적인 성능을 보이며 하이퍼파rameter에 대해 강인함을 입증했다.
• ContraCLIP가 학습한 비선형 경로는 선형 방법에 비해 더 매끄럽고 점진적인 이미지 전환을 가능하게 하여 급격한 변화와 잠재 공간 내 저밀도 영역을 피한다.
• 100개의 무작위로 선택된 잠재 코드에 대한 정량적 결과는 ContraCLIP가 모든 10개의 의미적 이단극에서 베이스라인인 StyleCLIP*를 일관되게 능가함을 확인했으며, '백색 피부'에서 '갈색 피부'로의 전환에서 가장 높은 향상(정체성: 0.9344 대비 0.5642)을 보였다.