[논문 리뷰] An Image is Worth More Than a Thousand Words: Towards Disentanglement in the Wild

Aviv Gabbay, Niv Cohen외 1명|arXiv (Cornell University)|2021. 06. 29.

Digital Media Forensic Detection인용 수 16

한 줄 요약

이 논문은 '블론드 헤어' 또는 '안경 쓴'과 같은 속성에 대해 부분적으로 레이블링된 속성과 보완적인 잔여 요소만을 사용하여 실제 이미지의 시각적 요소를 분리하는 데에 새로운 방법인 ZeroDIM을 제안한다. '블론드 헤어'나 '안경 쓴'과 같은 속성에 대해 CLIP를 활용해 제로샷 레이블링을 수행함으로써, 전체 레이블링이 불가능한 상황에서도 합성 및 실제 데이터 벤치마크에서 최신 기술 수준(SOTA)의 분리된 이미지 조작을 달성한다.

ABSTRACT

Unsupervised disentanglement has been shown to be theoretically impossible without inductive biases on the models and the data. As an alternative approach, recent methods rely on limited supervision to disentangle the factors of variation and allow their identifiability. While annotating the true generative factors is only required for a limited number of observations, we argue that it is infeasible to enumerate all the factors of variation that describe a real-world image distribution. To this end, we propose a method for disentangling a set of factors which are only partially labeled, as well as separating the complementary set of residual factors that are never explicitly specified. Our success in this challenging setting, demonstrated on synthetic benchmarks, gives rise to leveraging off-the-shelf image descriptors to partially annotate a subset of attributes in real image domains (e.g. of human faces) with minimal manual effort. Specifically, we use a recent language-image embedding model (CLIP) to annotate a set of attributes of interest in a zero-shot manner and demonstrate state-of-the-art disentangled image manipulation results.

연구 동기 및 목표

• 완전한 의미적 속성 세트를 확보할 수 없는 실제 이미지 분포에서 시각적 요소를 분리하는 문제를 해결하기 위해.
• 부분적으로만 레이블링된 속성 세트가 존재할 때, 레이블링되지 않은 잔여 요소를 고려하여 분리 기법을 가능하게 하기 위해.
• 관심 있는 속성에 대해 CLIP를 활용해 제로샷 레이블링을 자동으로 생성함으로써 수동 레이블링 의존도를 줄이기 위해.
• 부분적이고 불완전한 레이블링 환경에서도 기존의 준감독 및 완전감독 분리 기법을 능가하는 방법을 개발하기 위해.

제안 방법

• 부분적으로만 레이블링된 관심 속성 세트를 감독학습 및 자기학습 학습 구성 요소의 조합을 통해 분리한다.
• 언제나 명시적으로 레이블링되지 않은 보완적 속성 세트를 모델링하기 위해 잔여 분리 헤드를 도입한다.
• 자연어 문장(예: '안경 쓴')으로 지정된 속성에 대해 CLIP 임베딩을 활용해 제로샷 레이블링을 확보한다.
• 관심 속성과 잔여 요소에 대해 별도의 헤드를 갖춘 변동형 오토인코더(VAE) 프레임워크를 통해 분리된 표현을 학습한다.
• 다중 목표 손실 함수를 통해 재구성, 레이블링된 속성의 분리, 잔여 속성에 대한 불변성의 공동 최적화를 수행한다.
• 분리 기법을 위해 베타-VAE와 고해상도 이미지 합성에 적합한 스타일 기반 생성기(StyleGAN2)를 아키텍처에 통합한다.

실험 결과

연구 질문

• RQ1 부분적으로만 레이블링된 일부 속성과 완전히 레이블링되지 않은 나머지 속성들이 존재할 때, 분리 기법이 효과적으로 작동할 수 있는가?
• RQ2 부분적이고 불완전한 레이블링 환경에서 ZeroDIM의 성능은 기존 준감독 분리 기법과 비교해 어떻게 되는가?
• RQ3 CLIP를 활용해 인간 얼굴과 같은 실제 이미지 도메인의 정확한 제로샷 속성 레이블링을 효과적으로 생성할 수 있는가?
• RQ4 잔여 분리 기법이 이미지 조작의 품질과 제어 가능성에 얼마나 기여하는가?
• RQ5 ZeroDIM은 합성 벤치마크와 실제 이미지 조작 작업 모두에서 최신 기술 수준의 성능을 달성하는가?

주요 결과

• dSprites 및 Chairs 벤치마크에서 ZeroDIM은 부분 레이블링 조건에서도 기존 준감독 기법을 능가하는 최신 기술 수준의 분리 성능을 달성한다.
• 기존 기반 모델인 Locatello 등 [30] 및 InfoGAN 기반 접근법에 비해, 레이블링된 속성과 잔여 요소 모두의 분리가 훨씬 향상된다.
• CLIP를 활용한 제로샷 속성 레이블링은 FFHQ 및 CelebA와 같은 실제 데이터셋에서 최소한의 인간 노력으로 고품질의 이미지 조작을 가능하게 한다.
• 모델는 높은 이미지 품질을 유지하면서도 헤어 컬러나 얼굴 액세서리와 같은 속성에 대해 정밀하고 분리된 제어를 가능하게 한다.
• 잔여 분리 기법은 더 강건하고 일반화 능력이 뛰어난 표현을 만들어내어 모드 붕괴를 줄이고 샘플 다양성을 향상시킨다.
• 절단 실험을 통해 부분 레이블링 체계와 잔여 분리 헤드가 최적의 성능을 내기 위해 필수적임을 확인한다.