[논문 리뷰] InfoVAE: Information Maximizing Variational Autoencoders

Shengjia Zhao, Jiaming Song외 1명|arXiv (Cornell University)|2017. 06. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 371

한 줄 요약

InfoVAE는 확장 가능한 KL 항과 상호정보 항을 추가하여 VAE 목표를 일반화하고, 더 나은 아모타라이즈드 추론 및 잠재 활용을 가능하게 하며, MMD 기반 발산이 강한 실증 성능을 제공한다.

ABSTRACT

A key advance in learning generative models is the use of amortized inference distributions that are jointly trained with the models. We find that existing training objectives for variational autoencoders can lead to inaccurate amortized inference distributions and, in some cases, improving the objective provably degrades the inference quality. In addition, it has been observed that variational autoencoders tend to ignore the latent variables when combined with a decoding distribution that is too flexible. We again identify the cause in existing training criteria and propose a new class of objectives (InfoVAE) that mitigate these problems. We show that our model can significantly improve the quality of the variational posterior and can make effective use of the latent features regardless of the flexibility of the decoding distribution. Through extensive qualitative and quantitative analyses, we demonstrate that our models outperform competing approaches on multiple performance metrics.

연구 동기 및 목표

• VAE의 학습 및 추론에서 표준 ELBO의 실패를 동기 부여하고 진단한다.
• 데이터 재구성, 잠재 규제 및 정보 사용을 명시적으로 교환하는 일반화된 목표를 제안한다.
• 모델 계열 전반에서 X-공간과 Z-공간 손실의 균형을 맞추기 위한 실용적 구현 및 지침을 제공한다.
• 제안된 InfoVAE 프레임워크가 데이터셋과 디코더 전반에서 아모타라이즈드 추론과 잠재 활용을 개선함을 입증한다.

제안 방법

• D_KL(q(z)||p(z))에 스케일링 인자 lambda를 추가하는 InfoVAE 목표를 도입한다.
• 정보를 갖춘 잠재 표현을 장려하기 위해 I_q(x;z)라는 상호정보 항을 추가한다.
• 재구성 항, 가중된 KL(q(z|x)||p(z)) 및 가중된 KL(q(z)||p(z))를 포함하는 등가적인 최적화 친화적 형태로 목표를 재작성한다.
• 특정 조건에서 최적성을 보존하면서 D_KL(q(z)||p(z))를 임의의 엄격한 발산 D(q(z)||p(z))로 대체하도록 허용한다(예: MMD, Stein, 적대적 발산).
• beta-VAE 및 Adversarial Autoencoders (AAE)와의 연결 및 특수 사례를 제시한다.
• 발산들(적대적, Stein, MMD)을 평가하고 MMD-정규화된 InfoVAE가 종종 지표 전반에서 가장 잘 수행된다고 보고한다.

실험 결과

연구 질문

• RQ1 InfoVAE가 표준 ELBO에서 관찰되는 아모타라이즈드 추론 실패를 완화할 수 있는가?
• RQ2 정보 흐름(I_q(x;z))의 명시적 제어와 X/ Z 손실의 균형이 잠재 활용 및 일반화에 도움이 되는가?
• RQ3 실무에서 InfoVAE 목표를 가장 잘 지원하는 발산 계열은 어떤 것인가(MMD, Stein, 적대적)?
• RQ4 재구성, 가능도, 반지도 학습 작업에서 InfoVAE 변종은 ELBO 기반 VAE, beta-VAE, AAEs와 비교하여 얼마나 잘 수행하는가?

주요 결과

• ELBO 최적화는 부정확한 아모타라이즈드 추론과 과적합으로 이어질 수 있으며; InfoVAE는 X 및 Z 손실의 균형과 잠재 활용 촉진으로 이를 완화한다.
• MMD 정규화를 사용하는 InfoVAE(λ가 큰 경우, α≈1, 일부 설정에서 α=1)는 지표 전반에서 더 좋거나 유사한 로그 가능도 및 샘플 품질을 달성한다.
• 정보 선호 문제를 피하며 매우 유연한 디코더에서도 의미 있는 잠재 표현을 유지한다.
• MNIST에 대한 경험적 결과는 MMD를 갖춘 InfoVAE가 안정적인 학습, 우수한 후방 근사, 강력한 반지도 학습 성능을 제공함을 보여준다; ELBO는 q(z) 분산을 과대추정하는 경향이 있다.
• 표 1은 로그 가능도 추정치를 보여준다: ELBO 82.75, MMD-VAE 80.76, Stein-VAE 81.47, Adversarial VAE 82.21 (이 지표에서는 값이 높을수록 좋다).
• InfoVAE 변형은 일반적으로 로그 가능도, 샘플링 품질, 반지도 학습 성능 등 다양한 지표에서 경쟁 방식들을 능가한다.