[논문 리뷰] Variational Inference of Disentangled Latent Concepts from Unlabeled Observations

Abhishek Kumar, Prasanna Sattigeri외 1명|arXiv (Cornell University)|2017. 11. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 43인용 수 50

한 줄 요약

논문은 잠재 요인의 독립성을 촉진하도록 추정된 사전(prior)을 정규화하는 disentangled latent inference 프레임워크인 DIP-VAE를 제안하고, disentanglement를 평가하기 위한 SAP 지표를 도입하여 beta-VAE보다 데이터셋 전반에서 disentanglement와 재구성 간의 트레이드오프를 더 잘 달성한다.

ABSTRACT

Disentangled representations, where the higher level data generative factors are reflected in disjoint latent dimensions, offer several benefits such as ease of deriving invariant representations, transferability to other tasks, interpretability, etc. We consider the problem of unsupervised learning of disentangled representations from large pool of unlabeled observations, and propose a variational inference based approach to infer disentangled latent factors. We introduce a regularizer on the expectation of the approximate posterior over observed data that encourages the disentanglement. We also propose a new disentanglement metric which is better aligned with the qualitative disentanglement observed in the decoder's output. We empirically observe significant improvement over existing methods in terms of both disentanglement and data likelihood (reconstruction quality).

연구 동기 및 목표

• 레이블이 없는 데이터로부터 disentangled 잠재 요인을 비지도 학습으로 동기 부여하고 정의한다.
• 추정된 후방 분포에 대한 정규화항을 도입하여 disentangled 잠재 표현을 촉진한다.
• 잠재 차원의 상관관계를 제거하기 위한 두 가지 변형(DIP-VAE-I 및 DIP-VAE-II)을 갖춘 DIP-VAE 프레임워크를 제안한다.
• 디코더 스타일의 출력과 일치하는 방식으로 disentanglement를 평가하는 SAP 점수를 개발한다.

제안 방법

• 잠재 변수에 disentangled prior를 갖는 amortized variational inference 프레임워크(VAE)를 채택한다.
• 추정된 사전 q_phi(z)와 disentangled prior p(z) 간의 편차를 벌하는 정규화 항을 도입한다.
• 두 가지 DIP-VAE 변형을 구현한다: DIP-VAE-I는 Cov_p(x)[mu_phi(x)]를 직교성과 대각선 1에 수렴하도록 정규화하고, DIP-VAE-II는 Cov_q(z)[z]를 직교성과 대각선 1에 수렴하도록 정규화한다.
• 정규화 항은 차원별 공분산 디코렐레이션 목표를 사용하고, 초임계 lambda_od 및 lambda_d 하이퍼파라미터로 비대각 및 대각 항을 제어한다.
• beta-VAE와 비교하여, 이들의 접근이 disentanglement를 촉진하면서도 데이터 우도(data likelihood)를 유지하고 beta-VAE에서 관찰되는 트레이드오프 없이 작용함을 주장한다.

실험 결과

연구 질문

• RQ1 추정된 사전 정규화항이 재구성 품질을 희생하지 않으면서 disentangled 잠재 factor들을 촉진할 수 있는가?
• RQ2 DIP-VAE-I와 DIP-VAE-II가 데이터셋 전반에서 disentanglement와 재구성에 미치는 영향은 어떻게 다른가?
• RQ3 공분산 기반의 디코렐레이션 목표가 Z-diff와 같은 기존 지표보다 질적 disentanglement과 더 잘 일치하는가?
• RQ4 SAP 점수는 디코더 출력의 관찰 시 Z-diff와 비교할 때 disentanglement의 더 충실한 척도인가?
• RQ5 표준 disentanglement 벤치마크(2D Shapes, CelebA, 3D Chairs)에서 DIP-VAE가 beta-VAE에 비해 어떻게 성능을 보이는가?

주요 결과

• DIP-VAE는 beta-VAE 및 표준 VAE에 비해 다수의 데이터셋에서 disentanglement를 개선하는 동시에 재구성 품질을 유지하거나 향상시키는 경향을 보인다.
• DIP-VAE-I와 DIP-VAE-II는 서로 다른 트레이드오프를 제공한다; 진짜 생성 요인 수가 잠재 차원보다 작을 때 DIP-VAE-II가 특히 유리하여 잠재들 간 요인 분해가 분리되는 현상을 방지한다.
• SAP 점수는 잠재 traversals에서 관찰되는 질적 disentanglement과 더 잘 상관되며, 오해를 줄 수 있는 Z-diff 지표보다 더 타당하다.
• 실험 결과 DIP-VAE 변형에서 더 높은 disentanglement 점수(SAP)를 보이며, 재구성 오차도 Beta-VAE에 비해 경쟁적이거나 개선되는 경우가 많다.
• CelebA의 속성 예측 실험에서 DIP-VAE가 VAE 및 Beta-VAE에 비해 여러 속성에서 더 나은 구분성을 보일 수 있음을 시사한다.