[논문 리뷰] Learning Latent Subspaces in Variational Autoencoders

Jack Klys, Jake Snell외 1명|arXiv (Cornell University)|2018. 12. 14.

Generative Adversarial Networks and Image Synthesis인용 수 71

한 줄 요약

본 논문은 Conditional Subspace VAE (CSVAE)를 제안합니다. 이 방법은 이진 라벨마다 저차원 잠재 서브스페이스를 학습하여 라벨 관련 변화를 포착하고, 이미지의 속성을 쉽게 해석하고 조작할 수 있도록 합니다.

ABSTRACT

Variational autoencoders (VAEs) are widely used deep generative models capable of learning unsupervised latent representations of data. Such representations are often difficult to interpret or control. We consider the problem of unsupervised learning of features correlated to specific labels in a dataset. We propose a VAE-based generative model which we show is capable of extracting features correlated to binary labels in the data and structuring it in a latent subspace which is easy to interpret. Our model, the Conditional Subspace VAE (CSVAE), uses mutual information minimization to learn a low-dimensional latent subspace associated with each label that can easily be inspected and independently manipulated. We demonstrate the utility of the learned representations for attribute manipulation tasks on both the Toronto Face and CelebA datasets.

연구 동기 및 목표

• VAE 프레임워크 내에서 이진 라벨과 상관된 특징의 비지도 학습 발견을 동기화합니다.
• 각 W_i가 라벨별 하위공간을 포착하도록 Z × W의 잠재 공간 분할을 도입합니다.
• 라벨 관련 정보를 분리하기 위해 Z와 Y 간의 상호 정보가 낮아지도록 강제합니다.
• Toronto Faces Dataset(TFD)와 CelebA 데이터셋에서 속성 조작과 같은 intra-class 변형 모델링의 개선을 입증합니다.

제안 방법

• 잠재 공간 Z와 W = ∏ W_i를 갖는 결합 생성 모델 p(x, y, z, w)를 정의하며, 각 W_i는 이진 라벨 y_i에 대응합니다.
• Z와 Y 간의 의존성을 줄이기 위한 상호 정보 최소화 항 I(Y; Z)을 포함하는 변분 하한을 도출합니다.
• q_phi(z, w | x, y)와 p_theta(x | z, w)를 구현하고, 조건 엔트로피 H(Y|Z)를 최대화하기 위한 예측기 q_delta(y | z)를 포함하는 적대적 유사 목표를 사용합니다.
• q_phi, q_gamma, p_theta에 대해 가우시안 신경망을, q_delta(y | z)에 대해 카트 분포를 사용합니다.
• 각 W_i를 interpretable한 속성 조작과 스위칭이 가능하도록 저차원 하위공간(예: W_i ∈ R^2)으로 위치시킵니다.
• 가중된 목적함수를 통해 재구성, KL 항들, 상호 정보 관련 항들을 조합하여 β 하이퍼파라미터로 조정합니다.

실험 결과

연구 질문

• RQ1 VAE에서 비지도적 또는 준지도 방식으로 클래스별 라벨과 연관된 잠재 서브스페이스를 학습할 수 있는가?
• RQ2 Z와 Y 간의 낮은 상호 정보 강제화가 해리되어 조작 가능한 라벨 관련 서브스페이스를 만들어내는가?
• RQ3 이러한 서브스페이스가 CelebA와 TFD와 같은 실제 이미지 데이터셋에서 더 풍부하고 제어 가능한 속성 조작을 가능하게 하는가?
• RQ4 CSVAE는 intra-class 변 variation를 포착하고 속성 전달을 가능하게 하는 측면에서 CondVAE 변종과 어떻게 비교되는가?

주요 결과

Model	TFD	CelebA-Glasses	CelebA-FacialHair
VAE	19.08%	25.03%	49.81%
CondVAE	62.97%	96.04%	88.93%
CondVAE- info	62.27%	95.16%	88.03%
CSVAE (ours)	76.23%	99.59%	97.75%

• CSVAE는 두 데이터셋인 TFD와 CelebA에서 기본 모델보다 속성 조작 정확도가 더 높게 나타난다.
• CSVAE는 각 이진 라벨에 대해 해리되고 해석하기 쉬운 하위공간 W를 학습하여 속성 전달 및 스타일 조작을 용이하게 한다.
• 정량적 결과에서 속성 수정 후 분류 정확도 측면에서 CSVAE가 CondVAE 및 CondVAE-info보다 더 우수하게 나타난다.
• MSE 분석은 CSVAE가 기저 영상 품질을 유지하면서도 근접한 ground truth를 더 큰 속성 변화로 생성함을 시사한다.
• 정성적 결과는 다양한 속성(예: 안경 스타일, facial hair, 표현 등)과 id 간 속성 스타일의 보존 등 더 넓은 속성 변화를 보여준다.
• 스위스 롤 토이 예제는 CSVAE가 클래스 정보를 W로 분리하고 Z는 덜 판별적임을 보여주며 의도한 서브스페이스 구조를 지지한다.