[논문 리뷰] An Identifiable Double VAE For Disentangled Representations

Graziano Mita, Maurizio Filippone외 1명|arXiv (Cornell University)|2020. 10. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 35인용 수 12

한 줄 요약

이 논문은 보조 정보를 사용하여 잠재 변수에 대한 최적의 조건부 사전분포를 학습함으로써 이론적으로 보장된 분리성(디센트레임트)을 달성하는 변분 오토인코더 프레임워크인 Identifiable Double VAE (idVAE)를 제안한다. 입력에서 잠재 변수로의 추론 맵핑의 정규화를 향상시키기 위해 두 VAE를 결합함으로써, 하나는 보조 변수 조건부 하에 잠재 변수의 사후분포를 학습하고, 다른 하나는 생성 모델링을 수행함으로써, 이론적 보장된 분리성과 더불어 정규화를 향상시킨다. 다양한 벤치마크에서 최신 기술(SOTA)을 능가하며 일관된 성능 향상을 보이며, 분리성 메트릭에서 뛰어난 성능을 기록한다.

ABSTRACT

A large part of the literature on learning disentangled representations focuses on variational autoencoders (VAE). Recent developments demonstrate that disentanglement cannot be obtained in a fully unsupervised setting without inductive biases on models and data. However, Khemakhem et al., AISTATS, 2020 suggest that employing a particular form of factorized prior, conditionally dependent on auxiliary variables complementing input observations, can be one such bias, resulting in an identifiable model with guarantees on disentanglement. Working along this line, we propose a novel VAE-based generative model with theoretical guarantees on identifiability. We obtain our conditional prior over the latents by learning an optimal representation, which imposes an additional strength on their regularization. We also extend our method to semi-supervised settings. Experimental results indicate superior performance with respect to state-of-the-art approaches, according to several established metrics proposed in the literature on disentanglement.

연구 동기 및 목표

• 완전히 비지도 학습 설정에서 분리된 표현을 학습하는 과제를 해결하기 위해, 인덕티브 바이어스가 없이 이론적으로 분리가 불가능한 상황에서의 과제를 다루기 위해.
• 기본 인과 요인을 코딩하는 보조 변수에 조건부로 사전분포를 설정함으로써, VAE 기반 모델에 이론적 식별 가능성 보장을 설계하기 위해.
• 입력에서 잠재 변수로의 추론 맵핑의 정규화를 향상시키기 위해, 조건부 사전분포의 최적 표현을 학습함으로써.
• 보조 정보가 일부 훈련 샘플에만 존재하는 반도식 학습 설정으로의 방법 확장하기 위해.
• 여러 벤치마크 데이터셋에서 표준 메트릭을 사용하여 실험적으로 뛰어난 분리성 성능를 검증하기 위해.

제안 방법

• 모델은 더블 VAE 아키텍처를 사용한다: 첫 번째 VAE는 보조 변수 조건부 하에 잠재 변수의 사후분포를 학습하며, 이는 두 번째 VAE의 조건부 사전분포로 기능한다.
• 조건부 사전분포는 보조 변수를 구조적 사전분포로 매핑하는 추론 네트워크에서 유도되며, 이는 이론적 식별 가능성을 보장한다.
• 주 생성 모델의 ELBO는 두 VAE 목적함수의 조합으로 구성되어 있으며, 이는 분리성과 재구성의 동시 최적화를 가능하게 한다.
• 정보 이론적 정규화를 통해 조건부 사전분포의 최적 표현을 학습함으로써, 잠재 맵핑의 표현력과 안정성을 향상시킨다.
• 반도식 설정을 위해 보조 변수가 일부 입력에만 존재하는 경우를 다룰 수 있도록, ss-idVAE라는 반도식 변형을 도입하였으며, 이는 지도 학습과 비지도 학습의 혼합을 사용한다.
• Khemakhem 등(2020)의 식별 가능성 프레임워크를 따르되, 개선된 정규화와 실험적 성능 향상을 위해 확장된 인과적 사전분포를 사용한다.

실험 결과

연구 질문

• RQ1 기본 인과 요인을 코딩하는 보조 변수에 조건부로 사전분포를 설정함으로써, VAE 기반 모델이 이론적 식별 가능성과 분리성 보장을 달성할 수 있는가?
• RQ2 조건부 사전분포의 최적 표현을 학습함으로써, 입력에서 잠재 변수로의 추론 네트워크 맵핑의 정규화는 어떻게 향상되는가?
• RQ3 제안된 방법은 다양한 벤치마크 데이터셋과 메트릭에서 최신 기술(SOTA) 분리성 모델을 얼마나 뛰어나게 성능을 높이는가?
• RQ4 반도식 설정에서 정규화 강도와 보조 정보의 가용성에 대한 변화에 대해 이 방법은 얼마나 강건한가?
• RQ5 보조 변수가 훈련 중에 완전히 가용하지 않은 경우에도, 제안된 더블 VAE 아키텍처가 강력한 분리성 성능를 유지하는가?

주요 결과

• idVAE는 모든 데이터셋에서 가장 높은 중앙값 분리성 점수를 기록하며, β-VAE, iVAE, full-VAE와 같은 최신 기술(SOTA)을 일관되게 능가한다.
• dsprites, cars3d, shapes3d 데이터셋에서, β 점수와 명시성 등 모든 표준 분리성 메트릭에서 idVAE가 뛰어난 성능을 기록한다.
• 반도식 변형인 ss-idVAE는 레이블이 1% 밖에 없는 경우에도 β-VAE를 능가하며, 완전히 지도 학습된 full-VAE의 성능을 따라잡는다. 이는 뛀난 샘플 효율성을 보여준다.
• idVAE는 다양한 정규화 강도 범위에서 안정적인 성능을 보이며, 분리성 점수의 감소가 최소한이어서, iVAE나 full-VAE처럼 하이퍼파rameter 조정에 매우 민감하지 않다.
• 레이블된 샘플 수가 증가할수록도 성능 저하 없이 강력한 분리성 성능를 유지함으로써, 낮은 데이터 환경에서의 강건성과 확장성 잠재력을 보여준다.
• 실험 결과는 최적의 조건부 사전분포를 학습함으로써 추론 맵핑의 정규화가 크게 향상되고, 이로 인해 분리성 품질에 실질적인 향상이 이루어짐을 확인한다.