[논문 리뷰] Auto-Encoding Total Correlation Explanation

Shuyang Gao, Rob Brekelmans외 2명|arXiv (Cornell University)|2018. 02. 16.

Time Series Analysis and Forecasting참고 문헌 26인용 수 32

한 줄 요약

이 논문은 상관 설명(CorEx) 목적함수에 대한 변분 하한을 제안하며, CorEx와 변분 오토에인도어(VAE) 사이의 깊은 연결을 드러낸다. 표준 정규 사전분포가 아닌 학습된 사후분포에서 샘플링하고 잠재 인자들을 재가중하는 방식으로, 저자들은 VAE를 정보이론적 관점에서 총상관관계(total correlation)에 중점을 두어 재해석함으로써, 더 잘 분리되고 더 현실적인 샘플을 생성하는 AnchorVAE를 개발한다.

ABSTRACT

Advances in unsupervised learning enable reconstruction and generation of samples from complex distributions, but this success is marred by the inscrutability of the representations learned. We propose an information-theoretic approach to characterizing disentanglement and dependence in representation learning using multivariate mutual information, also called total correlation. The principle of total Cor-relation Ex-planation (CorEx) has motivated successful unsupervised learning applications across a variety of domains, but under some restrictive assumptions. Here we relax those restrictions by introducing a flexible variational lower bound to CorEx. Surprisingly, we find that this lower bound is equivalent to the one in variational autoencoders (VAE) under certain conditions. This information-theoretic view of VAE deepens our understanding of hierarchical VAE and motivates a new algorithm, AnchorVAE, that makes latent codes more interpretable through information maximization and enables generation of richer and more realistic samples.

연구 동기 및 목표

• VAE 및 기타 생성 모델이 학습하는 딥 뉘앙스 비지도 표현의 해석 가능성 부족 문제를 해결하기 위해.
• 이전에 이산 또는 가우시안 변수에 국한되었던 CorEx의 제약된 가정을 완화하기 위해, 탄력적인 변분 근사법을 도입하기 위해.
• VAE와 총상관관계 최소화를 통한 분리성(disentanglement)을 연결하는 통합된 정보이론적 프레임워크를 제공하기 위해.
• 목적함수에 새로운 항을 추가하지 않고도 특정 잠재 인자에 해석 가능한 정보를 국소화함으로써 분리성과 샘플 품질을 향상시키기 위해.
• 고정된 사전분포가 아닌 진정한 사후분포에서 잠재 코드를 샘플링할 경우, VAE의 생성 품질 향상 여부를 입증하기 위해.

제안 방법

• 딥 신경망을 사용하여 복잡한 비가우시안 분포에 대한 최적화를 가능하게 하는 CorEx 목적함수에 대한 변분 하한을 유도한다.
• 표준 인자 분해 가정 하에서, CorEx의 변분 하한이 표준 VAE의 증거 하한(lower bound, ELBO)로 축소됨을 보이며, VAE의 이중 정보이론적 해석을 확립한다.
• 특정 잠재 인자가 입력 데이터에 대해 고유하게 정보를 제공하도록 상호정보량 항을 재가중하는 새로운 학습 목적함수인 AnchorVAE를 제안한다.
• CorEx 목적함수를 두 성분으로 분해한다: 하나는 입력에서 잠재공간으로의 정보 전달을 측정하고, 다른 하나는 총상관관계 최소화를 통해 잠재 인자 간의 통계적 독립성을 강제한다.
• VAE의 표준 정규 사전분포를 잠재 코드에 대한 학습된 사후분포로 대체함으로써 더 풍부하고 현실적인 샘플 생성을 가능하게 한다.
• 비지도 정보 브로크볼타이저 해석을 사용하여 표현 압축과 복원 정밀도 사이의 상충관계를 프레임화한다.

실험 결과

연구 질문

• RQ1 CorEx 목적함수는 이산 및 가우시안 가정을 초월하여 딥 표현 학습에 적용 가능하게 일반화될 수 있는가?
• RQ2 표준 변분 근사 하에서 CorEx 목적함수와 VAE 목적함수 간의 관계는 무엇인가?
• RQ3 잠재공간에서의 총상관관계 최소화는 계층적 VAE에서 더 잘 분리되고 해석 가능한 표현을 이끌 수 있는가?
• RQ4 InfoGAN처럼 목적함수에 추가 항을 추가하지 않고도 특정 잠재 인자를 더 해석 가능하게 만들 수 있는가?
• RQ5 고정된 사전분포가 아닌 진정한 사후분포에서 잠재 코드를 샘플링할 경우, VAE의 샘플 품질이 향상되는가?

주요 결과

• 일반적인 인자 분해 가정 하에서, CorEx 목적함수의 변분 하한은 표준 VAE의 ELBO와 수학적으로 동일하며, VAE에 대한 이중 정보이론적 해석을 드러낸다.
• CorEx 목적함수는 자동으로 비지도 정보 브로크볼타이저로 분해되며, 복원 정밀도와 표현 압축 사이의 균형을 유지한다.
• AnchorVAE는 상호정보량 항을 재가중하여 특정 잠재 인자에 해석 가능한 정보를 효과적으로 국소화함으로써, 목적함수에 새로운 항을 추가하지 않아도 분리성을 향상시킨다.
• 잠재 코드를 $p(\mathbf{z}_i) = \int_\mathbf{x} p(\mathbf{z}_i|\mathbf{x})p(\mathbf{x})d\mathbf{x}$ 와 같이 진정한 사후분포에서 샘플링할 경우, 표준 정규 사전분포를 사용하는 것보다 VAE에서 훨씬 더 현실적이고 다양한 샘플을 생성할 수 있다.
• 계층적 VAE는 깊이가 깊어질수록 총상관관계가 점진적으로 감소함으로써 암묵적으로 분리성을 촉진한다. 이 현상은 이전에 주목받지 못한 바이다.
• 제안된 방법은 표준 VAE와 $β$-VAE보다 더 나은 분리성과 샘플 품질을 달성하였으며, 특히 이미지 데이터에서 직관적이고 해석 가능한 변동 인자를 잘 포착한다.