[논문 리뷰] Recursive Inference for Variational Autoencoders

Minyoung Kim, Vladimir Pavlović|arXiv (Cornell University)|2020. 11. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 6

한 줄 요약

이 논문은 변분 오토인코더(VAEs)를 위한 재귀적 약산 추론 방법을 제안하며, 혼합 추론 네트워크에 다양하고 발산을 최대화하는 성분을 반복적으로 추가하여 사후 분포 근사치를 향상시킵니다. 반면, 테스트 시점에서 반복 최적화가 필요한 반-약산 방법과 달리, 본 방법은 단일 피드포워드 추론을 통해 빠른 테스트 시점 추론을 가능하게 하며, 기능적 그래เดียน트 최적화와 유계 KL 정규화를 결합하여 다양한 벤치마크에서 최신 기준(test data likelihood)을 달성합니다.

ABSTRACT

Inference networks of traditional Variational Autoencoders (VAEs) are typically amortized, resulting in relatively inaccurate posterior approximation compared to instance-wise variational optimization. Recent semi-amortized approaches were proposed to address this drawback; however, their iterative gradient update procedures can be computationally demanding. To address these issues, in this paper we introduce an accurate amortized inference algorithm. We propose a novel recursive mixture estimation algorithm for VAEs that iteratively augments the current mixture with new components so as to maximally reduce the divergence between the variational and the true posteriors. Using the functional gradient approach, we devise an intuitive learning criteria for selecting a new mixture component: the new component has to improve the data likelihood (lower bound) and, at the same time, be as divergent from the current mixture distribution as possible, thus increasing representational diversity. Compared to recently proposed boosted variational inference (BVI), our method relies on amortized inference in contrast to BVI's non-amortized single optimization instance. A crucial benefit of our approach is that the inference at test time requires a single feed-forward pass through the mixture inference network, making it significantly faster than the semi-amortized approaches. We show that our approach yields higher test data likelihood than the state-of-the-art on several benchmark datasets.

연구 동기 및 목표

• 표준 약산 추론이 고정된 인코더 용량으로 인해 사후 분포의 복잡성을 과소평가하는 경향이 있기 때문에 이를 해결하기 위해.
• 테스트 시점에서 반복적 그래디언트 업데이트가 필요한 반-약산 방법의 계산 비용을 해결하기 위해.
• 대규모 추론 프레임워크를 유지하면서도 높은 표현 다양성을 확보하고 혼합 모델에서 모드 붕괴를 방지하는 가용성 있는 약산 추론 프레임워크를 개발하기 위해.
• 빠른 추론을 유지하면서 데이터 가능도를 향상시키기 위해 기능적 그래디언트 강하에 기반한 재귀적 성분 추가 전략을 개발하기 위해.

제안 방법

• 사후 분포와 변분 사후 분포 간의 발산을 최소화하기 위해 점진적으로 새로운 성분을 추론 네트워크에 추가하는 재귀적 혼합 추정 알고리즘을 제안합니다.
• 기능적 그래디언트 접근법을 사용하여 학습 기준을 유도합니다: 각 새로운 성분은 변분 하한을 향상시키고 기존 혼합 분포에서의 발산을 최대화해야 합니다.
• 성분 학습 중에 유계 KL 손실 정규화를 적용하여 열악한 해를 방지하고 BVI에서 사용하는 엔트로피 정규화보다 수치적 안정성을 향상시킵니다.
• 테스트 시점 추론이 단일 피드포워드 단계만으로 이루어지는 약산 추론 네트워크를 구성합니다. 반-약산 접근법에서의 반복 정밀조정과는 다릅니다.
• 사후 분포 발산 감소 능력과 함께 표현 다양성 향상을 고려하여 새로운 성분을 선택하는 재귀적 업데이트 규칙을 도입합니다.
• VAE 목적함수의 구조를 활용하여 혼합 인코더의 종단 간 훈련을 안정적이고 확장 가능한 최적화로 가능하게 합니다.

실험 결과

연구 질문

• RQ1 추론 속도를 희생시키지 않고 VAE에서 더 정확한 사후 분포 근사치를 달성할 수 있을까요?
• RQ2 표현 다양성과 모드 붕괴를 방지하면서도 혼합 추론 네트워크를 재귀적으로 향상시킬 수 있을까요?
• RQ3 약산 VAE 추론에서 효과적이고 안정적인 성분 추가를 가능하게 하는 학습 기준은 무엇일까요?
• RQ4 약산 혼합 추론의 맥락에서, 유계 KL 정규화는 엔트로피 정규화보다 어떻게 다를까요?
• RQ5 재귀적, 약산 추론 방법은 빠른 테스트 시점 추론을 유지하면서도 표준 VAE와 반-약산 기준보다 데이터 가능도에서 뛰어난 성능을 낼 수 있을까요?

주요 결과

• 제안된 방법은 MNIST, Omniglot, CIFAR-10에서 가장 높은 테스트 데이터 가능도를 달성하며, 표준 VAE, 반-약산 방법, 플로우 기반 모델을 모두 능가합니다.
• 100차원 잠재변수를 가진 CelebA에서, 이 방법은 테스트 로그가능도 17,875.1 nats를 기록하여 이어지는 최고 성능 모델(BVI-ER1)보다 100 nats 이상 높습니다.
• 5개 성분을 가진 RME(재귀적 혼합 추정) 모델은 CelebA(100차원 z)에서 테스트 로그가능도 17,875.1 nats를 달성하여 VAE 기준선(17,395.5 nats)을 크게 능가합니다.
• 이 방법은 빠른 추론을 유지합니다: 테스트 시점 추론은 혼합 네트워크를 단일 피드포워드 단계로만 통과하면 됩니다. 반복적 그래디언트 기반 방법과는 다릅니다.
• 유계 KL 정규화 전략은 특히 고용량 약산 설정에서 엔트로피 정규화보다 더 안정적이고 효과적인 훈련을 가능하게 합니다.
• 실험 결과는 발산 최대화를 통한 재귀적 성분 추가가 일관되게 가능도를 향상시키며, 붕괴된 혼합 모델에서 관찰되는 성능 저하를 방지함을 보여줍니다.