[논문 리뷰] Explicit Disentanglement of Appearance and Perspective in Generative Models

Nicki Skafte Detlefsen, Søren Hauberg|arXiv (Cornell University)|2019. 06. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 47인용 수 14

한 줄 요약

이 논문은 공간 변환기(spatial transformer)를 인코더와 디코더 양쪽에 사용하여 이미지의 외형과 시점(perspective)을 명시적으로 분리하는 변분 오토인코더(VITAE)를 제안한다. 이 방법은 MNIST에서 숫자의 정체성(외형)과 회전(시점) 요소, 인간 신체 이미지에서 형태와 자세 요소를 개선된 분리도로 분리하며, 미끄럼 변환(diffeomorphic transformations)을 통한 타깃화된 인덕티브 바이어스를 통해 일반적인 분리 모델보다 우수한 성능을 발휘한다.

ABSTRACT

Disentangled representation learning finds compact, independent and easy-to-interpret factors of the data. Learning such has been shown to require an inductive bias, which we explicitly encode in a generative model of images. Specifically, we propose a model with two latent spaces: one that represents spatial transformations of the input data, and another that represents the transformed data. We find that the latter naturally captures the intrinsic appearance of the data. To realize the generative model, we propose a Variationally Inferred Transformational Autoencoder (VITAE) that incorporates a spatial transformer into a variational autoencoder. We show how to perform inference in the model efficiently by carefully designing the encoders and restricting the transformation class to be diffeomorphic. Empirically, our model separates the visual style from digit type on MNIST, separates shape and pose in images of human bodies and facial features from facial shape on CelebA.

연구 동기 및 목표

• 딥 신뢰성 생성 모델에서 분리된 표현을 학습하는 과제를 해결하기 위해 외형과 시점을 별개의 요소로 명시적으로 모델링하는 것.
• 공간 변환을 통해 인덕티브 바이어스를 통합하여 최적화나 손실 설계에만 의존하지 않고도 분리도를 향상시키는 것.
• 분리된 시각적 요소를 지원하는 안정적이고 효율적인 추론 메커니즘을 변분 오토인코더 프레임워크 내에서 개발하는 것.
• 시점(예: 회전, 위치)과 외형(예: 숫자 정체성, 얼굴 특징)을 분리하면 더 해석 가능하고 분리된 표현이 가능하다는 것을 입증하는 것.
• 다양한 데이터셋에서 모델을 검증하여 표준 분리 모델 대비 정량적·정성적 우수성을 보여주는 것.

제안 방법

• 모델는 인코더와 디코더 양쪽에 공간 변환기를 통합한 변분 추론 변환 오토인코더(VITAE)를 사용하여 시점 변환을 모델링한다.
• 시점 공간은 미끄럼 변환(diffeomorphic transformations)을 사용하여 공간 변환(예: 회전, 스케일링)을 인코딩하며, 부드럽고 역행 가능한 매핑을 보장한다.
• 외형 공간은 변환된 입력을 재구성함으로써, 숫자 정체성이나 얼굴 형태와 같은 불변 특징을 학습한다.
• 모델는 시점을 먼저 추론하고, 변환된 데이터로부터 외형을 인코딩하는 공동 추론 전략을 사용하여 분리된 잠재 공간을 구현한다.
• 훈련 안정성과 의미 있는 분리도를 확보하기 위해 변환 클래스를 미끄럼 변환으로 제한한다.
• VAE 목표 함수에 KL 정규화를 사용하지만, 핵심 혁신은 공간 변환기를 통한 인덕티브 바이어스를 아키텍처 설계에 통합한 점이다.

실험 결과

연구 질문

• RQ1 공간 변환을 통한 시점과 외형 요소의 명시적 모델링이 표준 VAE보다 더 나은 분리도를 이끌 수 있는가?
• RQ2 미끄럼 변환을 인덕티브 바이어스로 통합하면 생성 모델의 분리도와 훈련 안정성이 향상되는가?
• RQ3 VITAE 모델은 인간 신체 이미지에서 자세를 형태에서 얼마나 잘 분리할 수 있는가?
• RQ4 기본적인 분리 모델인 β-TCVAE와 DIP-VAE-II와 비교해 VITAE의 분리도 성능은 어떻게 되는가?
• RQ5 표준 VAE와 달리 KL 항의 초모수 조정에 의존하지 않고도 모델이 분리도를 달성할 수 있는가?

주요 결과

• MNIST에서 VITAE는 숫자 정체성(외형)과 회전(시점)을 성공적으로 분리하며, 잠재 공간 이동을 통해 한 요소만 변화하는 것을 확인할 수 있다.
• SMPL로 생성된 인간 신체 이미지에서 VITAE는 신체 형태와 자세를 정성적으로 분리하며, 외형 공간의 변동은 팔 위치에 영향을 주고, 시점 공간의 변동은 신체 형태에 영향을 준다.
• CelebA에서 모델은 잠재 공간 이동을 통해 얼굴 크기, 얼굴 이동, 헤어 컬러를 분리하며, 현실 세계의 복잡한 요소를 제어할 수 있음을 보여준다.
• VITAE의 훈련은 다른 모델보다 더 안정적이며, 특히 KL 가중치에 대한 민감도가 낮다.
• β-TCVAE와 DIP-VAE-II와 비교해 인간 신체 이미지에서 VITAE는 최소한의 모드 붕괴와 더 나은 요소 제어를 보이며 우수한 분리도를 보인다.
• 모든 평가된 데이터셋에서 일반적인 분리 모델보다 VITAE가 더 나은 분리도를 달성하며, 아키텍처 설계를 통한 인덕티브 바이어스가 분리도에 필수적이라는 가설을 뒷받침한다.