[논문 리뷰] Hyperprior Induced Unsupervised Disentanglement of Latent Representations

Abdul Fatir Ansari, Harold Soh|arXiv (Cornell University)|2018. 09. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 5

한 줄 요약

이 논문은 변동성 초우량자 VAE(CHA-VAE)를 제안하며, 잠재 공간 공분산 행렬에 역와이소드 분포 초우량자를 배치하여 변분 오토인코더에서 분리 가능성을 강제하는 계층적 베이지안 방법을 제시한다. 초우량자의 자유도를 조정함으로써 ELBO를 수정하지 않고도 잠재 차원 간의 통계적 독립성을 유도하여, 표준 및 상관된 요인 데이터셋에서 β-VAE와 FactorVAE에 비해 뛰어난 분리 가능성과 재구성 성능을 달성한다.

ABSTRACT

We address the problem of unsupervised disentanglement of latent representations learnt via deep generative models. In contrast to current approaches that operate on the evidence lower bound (ELBO), we argue that statistical independence in the latent space of VAEs can be enforced in a principled hierarchical Bayesian manner. To this effect, we augment the standard VAE with an inverse-Wishart (IW) prior on the covariance matrix of the latent code. By tuning the IW parameters, we are able to encourage (or discourage) independence in the learnt latent dimensions. Extensive experimental results on a range of datasets (2DShapes, 3DChairs, 3DFaces and CelebA) show our approach to outperform the $β$-VAE and is competitive with the state-of-the-art FactorVAE. Our approach achieves significantly better disentanglement and reconstruction on a new dataset (CorrelatedEllipses) which introduces correlations between the factors of variation.

연구 동기 및 목표

• ELBO 수술이나 추가 페널티 항목에 의존하지 않고 깊이 있는 생성 모델에서 비지도 분리 가능성을 해결하는 것.
• 잠재 공간 독립성 제어를 위한 원칙적인 계층적 베이지안 접근법을 탐색하는 것.
• 잠재 사전 분포의 공분산을 학습 가능한 매개변수로 모델링하고 초우량자를 사용함으로써 분리 가능성을 향상시키면서 재구성 품질을 유지하는 것.
• 요인 간 상관관계가 있는 데이터셋에서의 성능 평가를 통해 표준 분리 가능성 방법이 실패하는 경우에 대비하는 것.
• 모델 수준의 설계—특히 사전 공분산에 대한 초우량자—가 손실 함수 수정보다 더 나은 분리 가능성을 달성할 수 있음을 보여주는 것.

제안 방법

• VAE의 잠재 사전 분포 p(z|Σ)의 공분산 행렬 Σ에 대해 역와이소드(IW) 초우량자를 도입함으로써, 잠재 독립성에 대한 원칙적인 제어를 가능하게 한다.
• 초우량자의 자유도 파라미터 ν는 사전의 정보성 정도를 제어하며, 낮은 ν 값은 항등 공분산에서의 이탈을 유도하여 분리 가능성을 증진시킨다.
• 구조화된 변분 사후 분포 q(z, Σ|x)를 사용하여 잠재 코드와 공분산 행렬을 함께 추론함으로써 추론의 안정성과 표현력을 향상시킨다.
• 계층적 사전 분포는 변분 추론 과정에서 ELBO에 추가 항을 자연스럽게 유도하며, 손실 함수에 대한 부호적 수정을 피한다.
• 이 방법은 전체 공분산 행렬 Σ를 학습하므로, 표준 VAE가 등방성 사전을 가정하는 것과 달리 데이터 유도 상관관계를 포착할 수 있다.
• 이 방법은 공분산 초우량자 VAE(CHyVAE)로 구현되어, 근사 기법을 통해 안정적인 최적화를 위한 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 손실 함수 수정 없이 원칙적인 계층적 사전 사양화를 통해 VAE에서 분리 가능성을 달성할 수 있는가?
• RQ2 잠재 공분산 행렬에 대한 초우량자 조정이 분리 가능성과 재구성 성능에 어떤 영향을 미치는가?
• RQ3 요인이 상관관계가 있는 데이터에서 CHyVAE 모델은 β-VAE와 FactorVAE보다 더 잘 일반화되는가?
• RQ4 전체 공분산 행렬을 학습하는 계층적 베이지안 모델이 고정 또는 대각형 사전을 가진 모델보다 분리 가능성 작업에서 더 나은 성능을 내는가?
• RQ5 초우량자 분포의 선택(예: 역와이소드)이 분리된 표현 품질에 얼마나 큰 영향을 미치는가?

주요 결과

• CHyVAE는 2DShapes, 3DChairs, 3DFaces, CelebA를 포함한 모든 평가된 데이터셋에서 β-VAE보다 분리 가능성과 재구성 성능 모두에서 뛰어나다.
• 강한 요인 상관관계를 가진 새로운 CorrelatedEllipses 데이터셋에서, CHyVAE는 β-VAE와 FactorVAE 모두를 분리 가능성과 재구성 오차 측면에서 뚜렷이 앞서간다.
• 최고 성능을 보인 CHyVAE 모델은 분리 가능성 점수 0.905를 기록했으며, FactorVAE의 0.909와 유사했지만 더 뛰어난 재구성 정밀도를 확보했다.
• 잠재적 이동 결과에서 CHyVAE는 3DFaces와 CelebA에서 의미 있는 요소를 학습했으며, FactorVAE가 놓친 3DChairs의 다리 스타일 변화까지도 포착했다.
• 학습 곡선 분석 결과, 다양한 하이퍼파rameter 설정에서 CHyVAE는 β-VAE와 FactorVAE보다 더 낮은 재구성 오차와 더 높은 분리 가능성 수준을 달성했다.
• 결과적으로, ELBO를 수정하지 않고도 초우량자 파라미터를 통해 분리 가능성을 효과적으로 제어할 수 있으며, 이는 ELBO 수술보다 더 원칙적인 대안을 제공한다.