[논문 리뷰] Disentangling Content and Style via Unsupervised Geometry Distillation

Wayne Wu, Kaidi Cao외 3명|arXiv (Cornell University)|2019. 05. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 4

한 줄 요약

이 논문은 기하학적 사전 지식을 활용한 이중 브랜치 오토인코더를 사용하여 이미지의 콘텐츠와 스타일을 비지도 학습 방식으로 분리하는 비지도 분리 프레임워크를 제안한다. 잠재 콘텐츠를 소프트 구조적 점 텐서로 투영하고, 사전 손실과 KL 정규화를 통해 공간 일관성을 강제함으로써, 실제 및 합성 데이터셋에서 최신 기준(SOTA) 수준의 분리 정확도와 시각적 유사성 품질을 달성한다. 인간의 레이블 없이도 고해상도 $256\times256$ 이미지를 생성하며, 콘텐츠와 스타일 표현이 명확히 분리된 결과를 얻는다.

ABSTRACT

It is challenging to disentangle an object into two orthogonal spaces of content and style since each can influence the visual observation differently and unpredictably. It is rare for one to have access to a large number of data to help separate the influences. In this paper, we present a novel framework to learn this disentangled representation in a completely unsupervised manner. We address this problem in a two-branch Autoencoder framework. For the structural content branch, we project the latent factor into a soft structured point tensor and constrain it with losses derived from prior knowledge. This constraint encourages the branch to distill geometry information. Another branch learns the complementary style information. The two branches form an effective framework that can disentangle object's content-style representation without any human annotation. We evaluate our approach on four image datasets, on which we demonstrate the superior disentanglement and visual analogy quality both in synthesized and real-world data. We are able to generate photo-realistic images with 256*256 resolution that are clearly disentangled in content and style.

연구 동기 및 목표

• 인간이 제공한 지표나 랜드마크 없이도 완전히 비지도 학습 방식으로 분리된 콘텐츠와 스타일 표현을 학습하는 것.
• 기하학적 사전 지식을 활용하여 자연 이미지에서 구조적 콘텐츠를 지도 없이 학습하는 과제를 해결하는 것.
• 콘텐츠 표현에 대한 불변성과 이미지 간 일관되고 반복 가능한 구조적 점 분포를 강제하여 분리 정확도를 확보하는 것.
• 실제 세계 및 합성 데이터셋에서 검증된 명확한 콘텐츠와 스타일 분리로 고품질 이미지 생성 및 시각적 유사성 분석을 달성하는 것.

제안 방법

• 이중 브랜치 오토인코더 아키텍처: 마지막 레이어의 계층적 소프트맥스를 사용해 소프트 구조적 점 텐서 투영을 통해 구조적 콘텐츠를 학습한다.
• 특수 설계된 손실을 통해 이미지 간 구조적 점의 높은 반복성과 균일한 공간 분포를 강제로 구현함으로써 사전 지식을 표현한다.
• 스타일 브랜치는 상호보완적인 표현을 학습하며, 스킵 커넥션과 KL 발산 손실을 통해 분리 정확도와 콘텐츠 불변 스타일 표현을 장려한다.
• variational Bayesian 프레임워크를 사용하며, ELBO 최적화에 사전 손실 $L_{\text{prior}}$, 재구성 손실 $L_{\text{recon}}$, KL 발산 손실 $L_{\text{KL}}$을 통합한다.
• 생성된 이미지의 시각적 품질 향상과 뿌연 현상 감소를 위해 VGG 특징 손실을 적용한다.
• 잠재 공간 이동과 콘텐츠/스타일 교환을 통해 분리 정확도와 다양체 커버리지의 정성적 검증을 수행한다.

실험 결과

연구 질문

• RQ1 인간이 제공한 속성나 랜드마크가 전혀 없이도 완전히 비지도 설정에서 분리된 콘텐츠와 스타일 표현을 학습할 수 있는가?
• RQ2 특히, 구조적 점 분포와 같은 기하학적 사전 지식이 비지도 분리 과정에서 콘텐츠와 스타일을 효과적으로 분리하는 데 기여할 수 있는가?
• RQ3 KL 정규화를 통한 콘텐츠 불변 스타일 표현 강제로 인해 분리 정확도와 생성 품질이 향상되는가?
• RQ4 기존 최신 기준(SOTA) 비지도 방법과 비교했을 때, 분리 정확도, 재구성 정확도, 시각적 유사성 품질 측면에서 본 방법의 성능은 어떠한가?

주요 결과

• 고양이 얼굴 데이터셋에서, 이 방법은 랜드마크 검출 오차 0.030%를 기록하여 이전 비지도 방법들(예: Jakab 등, 2018년의 0.038%)을 크게 앞서는 성능을 보였다.
• 고양이 데이터셋에서 Inception 스코어는 1.968에 도달하여 고품질이고 다양한 이미지 생성을 의미하며, SSIM 값 0.449는 강력한 재구성 정밀도를 보여준다.
• CelebA 데이터셋에서, 이 방법은 스타일 일관성 스코어 3.886 × 10⁻⁶과 콘텐츠 일관성 스코어 1.529 × 10⁻⁶를 기록하여 베이스라인 및 최신 기준(SOTA) 비지도 방법을 모두 압도했다.
• Ablation 실험 결과, VGG 손실을 제거하면 Inception 스코어가 1.968에서 1.796으로 10% 감소하여, 뿌연 현상 감소 및 시각적 품질 향상에서의 핵심 기여를 확인할 수 있었다.
• KL 손실을 제거하면 Inception 스코어는 1.720으로 떨어지고, 스타일 일관성 오차는 6.556 × 10⁻⁵로 증가하여, 콘텐츠 불변 스타일 표현 학습에서의 핵심적 역할을 입증했다.
• 시각화 결과 효과적인 콘텐츠-스타일 분리가 확인되었으며, 콘텐츠는 열 간에 유지되었고(예: 표정, 자세), 스타일은 행 간에 일관되게 전이되었다(예: 헤어 컬러, 조명, 메이크업).