[논문 리뷰] Improving Explorability in Variational Inference with Annealed Variational Objectives

Chin-Wei Huang, Shawn Tan외 2명|arXiv (Cornell University)|2018. 09. 06.

Generative Adversarial Networks and Image Synthesis인용 수 20

한 줄 요약

이 논문은 에너지 온도 조절을 통해 안내된 목표를 통합함으로써 계층적 변분 추론에서 탐색 능력을 향상시키는 Annealed Variational Objectives (AVO)를 제안한다. 학습 중에 온도를 점차 낮추는 방식으로, AVO는 근사 사후분포가 다중모달 구조를 더 효과적으로 탐색할 수 있도록 하여, 근사 우도의 정확도 향상과 베타-안내된 스케줄링에 대한 강건성 향상을 이끌어내며, MNIST와 Omniglot에서 표준 ELBO보다 정량적·정성적 평가 모두에서 뛰어난 성능을 보였다.

ABSTRACT

Despite the advances in the representational capacity of approximate distributions for variational inference, the optimization process can still limit the density that is ultimately learned. We demonstrate the drawbacks of biasing the true posterior to be unimodal, and introduce Annealed Variational Objectives (AVO) into the training of hierarchical variational methods. Inspired by Annealed Importance Sampling, the proposed method facilitates learning by incorporating energy tempering into the optimization objective. In our experiments, we demonstrate our method's robustness to deterministic warm up, and the benefits of encouraging exploration in the latent space.

연구 동기 및 목표

• 높은 표현 능력을 지닌 모델임에도 불구하고 최적화 과정에서 근사 사후분포가 단일모달, 과신된 해에 치우치는 문제를 해결하기 위해.
• 안내된 목표를 통한 에너지 온도 조절을 도입하여 계층적 변분 추론(HVI)의 탐색 행동을 향상시키기 위해.
• 안내된 변분 목표를 통해 더 복잡한 다중모달 사후분포를 학습할 수 있도록 하되, 더 풍부한 변분 가족에 의존하지 않기 위해.
• 표준 변분 추론에서 일반적으로 성능을 떨어뜨리는 결정론적 베타-안내된 스케줄링에 대해 AVO가 강건함을 보여주기 위해.
• 분포 가족 확장을 넘어서, 최적화 과정에서 유도되는 편향을 직접적으로 해결하는 방법을 제공하기 위해.

제안 방법

• 온도 매개수 T를 사용하여 변분 자유에너지 목표를 수정함으로써 Annealed Variational Objectives (AVO)를 도입하며, α = 1/T 가 에너지 온도 조절의 정도를 제어한다.
• KL 발산 목표에 에너지 온도 조절을 적용: E_q[log q(z) - α log f(z)]로 표현되며, α는 초기에 작게 설정(고온)하고 점차 1로 증가시켜(저온) 초기에 에너지 경관을 부드럽게 만든다.
• 각 레이어가 점차 정교해지는 사후분포 근사를 수행하는 계층적 변분 추론(HVI) 프레임워크를 사용하며, AVO는 각 레벨에 적용된다.
• α에 대해 선형 안내 스케줄을 적용하여 초기 값에서 1로 점차 증가시키며, 초기에는 다양한 모드를 탐색하고 후기에는 사후분포를 정밀하게 조정한다.
• 신경망(예: VAE)을 통한 표준 암시적 추론과 AVO를 조합하여 계산 효율성을 유지하면서도 사후분포 근사 품질을 향상시킨다.
• 진행 불가능한 엔트로피 추정을 위해 중요도 샘플링을 사용하며, 진짜 에너지 함수로부터의 음의 KL 발산과 테스트 세트에서의 로그우도를 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 안내된 목표를 통한 에너지 온도 조절이 다중모달 사후분포 설정에서 계층적 변분 추론의 탐색 행동을 향상시킬 수 있는가?
• RQ2 HVI-AVO는 결정론적 웜업 스케줄에 대해 표준 ELBO나 베타-안내된 방법과 비교해 어떤가?
• RQ3 AVO를 통해 탐색을 장려하면 실제 데이터셋에서 더 나은 근사 우도 추정과 낮은 변분 갭을 달성할 수 있는가?
• RQ4 AVO는 표준 변분 추론에서 흔히 발생하는 단일모달 사후분포 편향을 어느 정도 완화할 수 있는가?
• RQ5 AVO는 모델 복잡도를 증가시키지 않으면서도 VAE의 테스트 우도와 일반화 성능을 향상시킬 수 있는가?

주요 결과

• HVI-AVO는 다중모달 에너지 함수의 네 개의 모드를 모두 포착하는 데 성공했으나, HVI-ELBO는 모든 모드를 탐색하지 못하고 단일 모드로 붕괴되었다.
• MNIST와 Omniglot에서 HVI-AVO는 표준 ELBO보다 낮은 변분 갭(예: 3.24 vs. 7.71)과 더 나은 테스트 우도(85.51 vs. 86.40)를 기록하여 사후분포 근사 품질 향상을 입증했다.
• HVI-AVO는 다양한 베타-안내된 스케줄링에서도 일관된 성능을 유지하는 반면, HVI-ELBO는 장기적인 안내에서 성능이著しく 떨어져 강건성을 입증했다.
• Omniglot 실험에서 HVI-AVO는 테스트 로그우도 85.51을 기록하여 표준 VAE 베이스라인을 능가했으며, 초기 ELBO 값이 더 높음에도 불구하고 일반화 능력 향상을 보였다.
• ELBO와 테스트 우도 간의 격차를 줄여, 근사 사후분포가 진짜 사후분포를 더 잘 대표하고 편향이 적다는 것을 시사했다.
• 복잡한 변분 가족을 요구하지 않음에도 불구하고 AVO는 더 나은 탐색을 가능하게 하여, 암시적 추론에서 최적화 동역학이 핵심적 한계임을 보여주었다.