[논문 리뷰] Multi-Level Variational Autoencoder: Learning Disentangled Representations from Grouped Observations

Diane Bouchacourt, Ryota Tomioka외 1명|arXiv (Cornell University)|2017. 05. 24.

Generative Adversarial Networks and Image Synthesis인용 수 137

한 줄 요약

ML-VAE는 그룹화된 데이터에서 그룹 내 공유 콘텐츠를 모델링하고 관측마다 스타일을 모델링함으로써 해제된 표현을 학습하고, 증거 축적 및 보지 못한 그룹에 대한 테스트 시 일반화를 가능하게 한다.

ABSTRACT

We would like to learn a representation of the data which decomposes an observation into factors of variation which we can independently control. Specifically, we want to use minimal supervision to learn a latent representation that reflects the semantics behind a specific grouping of the data, where within a group the samples share a common factor of variation. For example, consider a collection of face images grouped by identity. We wish to anchor the semantics of the grouping into a relevant and disentangled representation that we can easily exploit. However, existing deep probabilistic models often assume that the observations are independent and identically distributed. We present the Multi-Level Variational Autoencoder (ML-VAE), a new deep probabilistic model for learning a disentangled representation of a set of grouped observations. The ML-VAE separates the latent representation into semantically meaningful parts by working both at the group level and the observation level, while retaining efficient test-time inference. Quantitative and qualitative evaluations show that the ML-VAE model (i) learns a semantically meaningful disentanglement of grouped data, (ii) enables manipulation of the latent representation, and (iii) generalises to unseen groups.

연구 동기 및 목표

• 그룹화된 데이터에서 약한 그룹 수준 감독을 통해 의미를 고정한다.
• 그룹 공유 콘텐츠와 관찰별 스타일로 잠재 요인을 분리한다.
• 비iid 그룹화 관찰을 다루면서 암화된 추론을 유지한다.

제안 방법

• 그룹 G의 모든 샘플이 공유하는 콘텐츠 C_G와 그룹 G의 관찰 i에 대한 스타일 S_i로 이원 수준 잠재 구조를 도입한다.
• q(C_G, S_G|X_G;φ)를 q(C_G|X_G;φ_c)와 q(S_i|X_i;φ_s)로 인수분해된 변분 근사로 정의한다.
• 그룹별 ELBO를 사용하여 그룹을 합산한다: ELBO(G;θ,φ_s,φ_c) = ∑_{i∈G} E_{q(C_G|X_G)} E_{q(S_i|X_i)}[log p(X_i|C_G, S_i; θ)] - KL 항들.
• 개별 인코딩으로부터의 정규밀도 곱(가우시안 곱 규칙)으로 q(C_G|X_G)를 형성하여 C_G에 대한 증거를 축적한다.
• 그룹 ELBO를 계산하고, 그룹 간 평균화하며, 그룹의 미니배치에서 θ, φ_c, φ_s를 학습하기 위해 최대화한다.
• 그룹당 다수의 테스트 샘플에서 증거를 축적할 수 있는 테스트 시 추론(strategy 2) 또는 단일 샘플(strategy 1)을 제공한다.

실험 결과

연구 질문

• RQ1 그룹 수준 감독이 의미 인자들을 해석 가능한 잠재 공간으로 고정시킬 수 있는가?
• RQ2 그룹 수준에서 콘텐츠를, 관찰 수준에서 스타일을 모델링하는 것이 iid VAE보다 더 나은 해석 가능한 disentanglement를 낳는가?
• RQ3 비 iid 그룹화 관찰에 암화된 추론을 적용하되 테스트 시 효율성을 손상시키지 않을 수 있는가?
• RQ4 그룹 구성원들 간의 증거 축적이 잠재 정밀도와 하류 분류에 이점을 주는가?
• RQ5 학습된 해제된 표현이 테스트 시 미지의 그룹에 일반화될 수 있는가?

주요 결과

• ML-VAE는 콘텐츠(그룹 공유)와 스타일(관찰별)을 분리하여 의미 있는 해상 분리를 학습한다.
• 정규분포 곱 방식(product-of-Normals)을 통한 증거 축적은 그룹 크기가 커질수록 콘텐츠 불확실성을 감소시킨다.
• 테스트 시 미지의 그룹으로 일반화하며, 미지의 정체성을 가진 데이터셋에서 시연되었다.
• 잠재 콘텐츠 C는 클래스 레이블에 유의미하고, 스타일 S는 무정보적이며, 효과적인 하류 분류를 가능하게 한다.
• 잠재 공간에서의 연산(스와핑, 보간, 생성)은 제어 가능한 disentanglement와 매니폴드 커버리지를 보여준다.