[논문 리뷰] CLIP2StyleGAN: Unsupervised Extraction of StyleGAN Edit Directions

Rameen Abdal, Peihao Zhu외 3명|arXiv (Cornell University)|2021. 12. 09.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

CLIP2StyleGAN은 CLIP의 시각-언어 임베딩을 활용하여 스타일 제너레이티브 어드밴트리지 모델(StyleGAN) 내에서 인과적이고 의미적으로 레이블이 부여된 의미적 편집 방향을 비지도 학습으로 추출한다. 인간이 레이블링한 속성 없이도 '남성/여성', '미소/미소 없음', '파손/화재로 인한 손상'과 같은 의미 있는, 의미적으로 레이블이 부여된 편집을 식별함으로써, GAN에서 데이터 기반의 제로샷 의미 편집을 가능하게 한다.

ABSTRACT

The success of StyleGAN has enabled unprecedented semantic editing capabilities, on both synthesized and real images. However, such editing operations are either trained with semantic supervision or described using human guidance. In another development, the CLIP architecture has been trained with internet-scale image and text pairings and has been shown to be useful in several zero-shot learning settings. In this work, we investigate how to effectively link the pretrained latent spaces of StyleGAN and CLIP, which in turn allows us to automatically extract semantically labeled edit directions from StyleGAN, finding and naming meaningful edit operations without any additional human guidance. Technically, we propose two novel building blocks; one for finding interesting CLIP directions and one for labeling arbitrary directions in CLIP latent space. The setup does not assume any pre-determined labels and hence we do not require any additional supervised text/attributes to build the editing framework. We evaluate the effectiveness of the proposed method and demonstrate that extraction of disentangled labeled StyleGAN edit directions is indeed possible, and reveals interesting and non-trivial edit directions.

연구 동기 및 목표

• 인간이 레이블링한 속성이나 감독 신호 없이도 스타일 제너레이티브 어드밴트리지 모델(StyleGAN) 내에서 의미적으로 유의미한 편집 방향을 비지도로 발견하는 것.
• 사전 학습된 스타일 제너레이티브 어드밴트리지 모델(StyleGAN)과 CLIP의 잠재 공간을 연결하여 이미지 및 텍스트 표현의 공동 분석을 가능하게 하는 것.
• CLIP의 텍스트 임베딩을 사용하여 편집 방향을 자동으로 레이블링함으로써 수동 코딩이나 후행 레이블링을 피하는 것.
• 얼굴 이미지에서 성별, 나이, 표정과 같은 분리된, 시각적으로 관련 있는 속성을 자동으로 추출하는 것.
• 발견된 CLIP 기반의 방향을 스타일 제너레이티브 어드밴트리지 모델(StyleGAN)의 잠재 공간으로 이식하여 제어 가능하고 의미적인 이미지 편집을 가능하게 하는 것.

제안 방법

• 생성된 이미지 또는 실재 이미지와 그에 해당하는 텍스트 프롬프트를 CLIP의 이미지 및 텍스트 인코더를 사용해 임베딩한다.
• CLIP 이미지 임베딩에 주성분 분석(PCA)을 적용하여 데이터에서 유의미한 변동을 반영하는 주요 방향을 식별한다.
• 각 주요 방향에 대해 CLIP의 텍스트 인코더를 사용해 가장 두드러진 텍스트 개념을 분류하고, 자연어 표현으로 방향을 레이블링한다.
• 모호하거나 다중 개념을 포함하는 방향을 개선하기 위해 CLIP에 일련의 구조화된 텍스트 템플릿(예: '한 명의 {} 사람의 그림', '한 대의 {} 자동차의 그림')을 프롬프트로 제공한다.
• 선형 투영을 사용하여 발견된 CLIP의 방향을 스타일 제너레이티브 어드밴트리지 모델(StyleGAN)의 W+ 잠재 공간으로 투영하여 의미 편집을 가능하게 한다.
• PCA와 텍스트 기반 개선을 융합한 하이브리드 접근 방식을 통해 추출된 방향의 분리성과 레이블 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 CLIP의 시각-언어 임베딩을 사용하여 인간의 감독 없이도 스타일 제너레이티브 어드밴트리지 모델(StyleGAN) 내에서 의미적으로 레이블이 부여된 의미 있는 편집 방향을 자동으로 발견할 수 있는가?
• RQ2 CLIP 이미지 임베딩에 대한 주성분 분석(PCA)은 잠재 공간 내에서 데이터 기반의, 시각적으로 관련 있는 방향을 식별하는 데 얼마나 효과적인가?
• RQ3 CLIP의 텍스트 인코더를 사용하여 다중 개념을 포함하는 복잡한 방향을 분리된, 해석 가능한 편집 방향으로 분리할 수 있는가?
• RQ4 자동으로 추출된 레이블이 의미적 관련성과 해석 가능성 측면에서 인간이 식별한 속성과 얼마나 일치하는가?
• RQ5 특히 성별이나 인종과 같은 민감한 속성에 대해, 생성된 편집이 정체성을 유지하면서 특정 속성을 수정하는 데 얼마나 효과적인가?

주요 결과

• 메서드는 FFHQ에서 PCA를 사용하여 20개의 주요 의미 방향을 성공적으로 추출했으며, '남성/여성', '미소/미소 없음', '어린이' 등 높은 의미 일관성을 보였다.
• LSUN-CAR 데이터셋에서는 이전에 편집에 사용된 바가 없던 새로운 의미 있는 방향인 '스クラップ/화재로 인한 손상/연기로 타버림'을 발견했다.
• 사용자 연구 결과, CLIP2StyleGAN에서 자동으로 생성된 레이블의 품질이 인간이 식별한 레이블과 유사했으며, 이는 메서드의 해석 가능성에 대한 타당성을 입증했다.
• 편집 과정에서 정체성이 유지되었으며, 얼굴 임베딩 간余弦 유사도는 대부분 0.93 이상을 유지했고, 속성 분류 정확도는 0.90~1.00의 범위를 보였다.
• 메서드에서는 훈련 데이터 내 잠재적 편향, 예를 들어 지배적인 민족 또는 직업 레이블을 드러내었으며, 윤리적 문제를 제기하고 데이터 편향 탐지 가능성을 시사했다.
• GANSpace 기반의 편집은 '성별/남성'에 대해 더 높은 정확도를 보였지만, 시각적 변화가 미미하여, CLIP2StyleGAN이 더 영향력 있고 의미적으로 더 유의미한 편집을 생성한다는 것을 시사했다.