[논문 리뷰] Degeneration in VAE: in the Light of Fisher Information Loss

Huangjie Zheng, Jiangchao Yao외 2명|arXiv (Cornell University)|2018. 02. 19.

Energy Load and Power Forecasting참고 문헌 23인용 수 15

한 줄 요약

이 논문은 깊은 아키텍처에서의 열화를 완화하기 위해 스킵 커넥션을 통합한 Variational Autoencoder의 변종인 SCVAE를 제안한다. 계층별 분석을 위한 피셔 정보 측정법을 도입함으로써, 저자들은 피드포워드 네트워크에서의 정보 손실이 본질적으로 열화를 유도함을 입증한다. 스킵 커넥션은 모델 복잡도를 변화시키지 않으면서도 정보를 유지함으로써, MNIST에서 더 나은 표현 학습과 생성 성능을 달성한다.

ABSTRACT

While enormous progress has been made to Variational Autoencoder (VAE) in recent years, similar to other deep networks, VAE with deep networks suffers from the problem of degeneration, which seriously weakens the correlation between the input and the corresponding latent codes, deviating from the goal of the representation learning. To investigate how degeneration affects VAE from a theoretical perspective, we illustrate the information transmission in VAE and analyze the intermediate layers of the encoders/decoders. Specifically, we propose a Fisher Information measure for the layer-wise analysis. With such measure, we demonstrate that information loss is ineluctable in feed-forward networks and causes the degeneration in VAE. We show that skip connections in VAE enable the preservation of information without changing the model architecture. We call this class of VAE equipped with skip connections as SCVAE and perform a range of experiments to show its advantages in information preservation and degeneration mitigation.

연구 동기 및 목표

• 깊은 Variational Autoencoder(VAE)에서의 열화의 근본 원인을 규명한다. 특히 더 깊어진 네트워크가 입력-잠재 코드 상관관계를 유지하지 못하는 이유를 분석한다.
• 깊은 인코더/디코더 계층을 통한 정보 흐름을 측정하는 데 있어 상호정보량의 한계를 해결한다.
• VAE에서 계층별 정보 손실을 정량화하기 위한 피셔 정보 기반 메트릭을 제안한다.
• 스킵 커넥션이 모델 복잡도를 변화시키지 않으면서도 계층 간 정보를 유지함으로써 열화를 완화함을 입증한다.
• SCVAE(Skip-connection VAE)를 개발하여 깊은 VAE의 표현 학습과 생성 성능을 향상시키는 강력하고 호환 가능한 개선 방법을 제공한다.

제안 방법

• VAE 인코더 및 디코더의 각 은닉 계층을 통해 전송되는 정보 손실을 정량화하기 위해 피셔 정보 측정법을 도입한다.
• 각 은닉 계층의 출력을 매개변수화된 암묵적 분포로 모델링하여 계층별 분석을 위한 피셔 정보를 계산한다.
• 피셔 정보 메트릭을 사용해 깊은 VAE에서의 열화를 진단함으로써, 표준 피드포워드 네트워크에서는 정보 손실이 피할 수 없다는 것을 보여준다.
• 스킵 커넥션을 VAE 아키텍처에 통합하여 SCVAE를 구축함으로써, 상호 보완적인 정보 흐름을 가능하게 하고 입력-표현의 정밀도를 유지한다.
• 기존 VAE 아키텍처를 유지하면서 인코더와 디코더 계층 간에 스킵 커넥션을 추가하여 정보 유지 능력을 향상시킨다.
• PixelVAE 및 VampPrior와 같은 최신 VAE 모델들과의 아블레이션 및 조합 실험을 통해 방법의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 표준 딥러닝에서 더 깊은 네트워크의 이점이 있음에도 불구하고, 왜 VAE의 더 깊은 아키텍처에서 열화가 발생하는가?
• RQ2 상호정보량이 계산이 불가능한 상황에서, VAE 인코더 및 디코더의 계층 간 정보 손실을 어떻게 정량화할 수 있는가?
• RQ3 스킵 커넥션이 모델 복잡도를 변화시키지 않으면서도 깊은 VAE에서 정보 손실과 열화를 어느 정도 완화할 수 있는가?
• RQ4 더 깊어질수록 SCVAE가 표현 학습과 생성 작업 모두에서 우수한 성능을 유지할 수 있는가?
• RQ5 SCVAE는 기존 최신 VAE 기법들과의 호환성이 높아, 그 성능 향상에 기여할 수 있는가?

주요 결과

• VAE에 사용되는 피드포워드 네트워크에서는 정보 손실이 피할 수 없으며, 이는 잠재 코드가 입력 데이터와 상관관계를 잃는 열화 현상을 유도한다.
• SCVAE는 MNIST에서 최저 테스트 음의 로그가능도(NLL) 80.19와 최고의 분류 정확도 0.9588을 기록하여 표준 VAE 및 VAE(p++) 변종을 모두 압도한다.
• SCVAE의 스킵 커넥션은 계층 간 정보를 유지함으로써 인코더 및 디코더 양쪽에서 열화를 방지한다. t-SNE 시각화 및 피셔 정보 분석을 통해 이를 확인했다.
• SCVAE는 인코더와 디코더 양쪽 모두에서 풍부한 정보를 유지함으로써 고품질의 재구성과 압축되며 의미 있는 잠재 표현을 가능하게 한다.
• PixelVAE 또는 VampPrior와 결합할 경우, SCVAE는 추가로 성능 향상을 이끌어내어 통합 모델에서 테스트 NLL 79.26과 정확도 0.9784를 기록한다.
• 피셔 정보 측정법은 표준 VAE가 잠재 코드를 간과하는 경향이 있음을 드러내며(예: PixelVAE에서), 반면 SCVAE는 모든 계층 간 균형 잡힌 정보 흐름을 유지한다.