[논문 리뷰] Reweighted Expectation Maximization

Adji Bousso Dieng, John Paisley|arXiv (Cornell University)|2019. 06. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 46인용 수 12

한 줄 요약

이 논문은 재가중된 기대값 최대화(REM)를 제안한다. REM는 기댓값 최대화(EM) 기반의 방법으로, 깊이 있는 생성 모델을 훈련시키는 데 사용되며, 변분 오토에코더(VAEs)와 중요도 가중 오토에코더(IWAEs)를 개선한다. 이는 생성 모델과 인식 네트워크의 학습 역학을 순간 일치 제안 분포를 통해 분리함으로써 이루어진다. REM는 직접적으로 마진 분포 가능도를 최대화함으로써 밀도 추정 벤치마크에서 유의미하게 향상된 로그 가능도 성능을 달성하며, 사후 붕괴와 암시적 오차를 방지한다.

ABSTRACT

Training deep generative models with maximum likelihood remains a challenge. The typical workaround is to use variational inference (VI) and maximize a lower bound to the log marginal likelihood of the data. Variational auto-encoders (VAEs) adopt this approach. They further amortize the cost of inference by using a recognition network to parameterize the variational family. Amortized VI scales approximate posterior inference in deep generative models to large datasets. However it introduces an amortization gap and leads to approximate posteriors of reduced expressivity due to the problem known as posterior collapse. In this paper, we consider expectation maximization (EM) as a paradigm for fitting deep generative models. Unlike VI, EM directly maximizes the log marginal likelihood of the data. We rediscover the importance weighted auto-encoder (IWAE) as an instance of EM and propose a new EM-based algorithm for fitting deep generative models called reweighted expectation maximization (REM). REM learns better generative models than the IWAE by decoupling the learning dynamics of the generative model and the recognition network using a separate expressive proposal found by moment matching. We compared REM to the VAE and the IWAE on several density estimation benchmarks and found it leads to significantly better performance as measured by log-likelihood.

연구 동기 및 목표

• 변분 추론의 한계, 특히 사후 붕괴와 암시적 오차를 해결하기 위해.
• 딥 생성 모델 훈련을 기댓값 최대화(EM) 문제로 재정의하여 로그 가능도를 직접 최적화하기 위해.
• 생성 모델과 인식 네트워크의 학습 역학을 분리함으로써 중요도 가중 오토에코더(IWAE)를 개선하기 위해.
• EM 기반 훈련이 더 나은 생성 모델과 더 표현력 있는 사후 근사치를 제공함을 보여주기 위해.
• 인식 네트워크가 생성 모델의 학습 역학에서 분리되었을 때 효과적인 제안 분포로 기능할 수 있음을 보여주기 위해.

제안 방법

• 딥 생성 모델 훈련을 EM 알고리즘으로 재정의하며, E단계는 제안 분포를 계산하고 M단계는 마진 가능도를 최대화하기 위해 모델 파라미터를 최적화한다.
• IWAE를 EM의 한 예로 재발견하며, 중요도 가중치가 다중 입자 형태의 특정 EM 형식과 대응됨을 보여준다.
• 생성 모델의 인식 네트워크 $ r_{\eta}(\mathbf{z}|\mathbf{x}) $ 외부에 독립적인 풍부하고 표현력 있는 제안 분포 $ s(\mathbf{z}) $ 를 학습하기 위해 순간 일치 절차를 도입한다.
• E단계에서 순간 일치 제안 분포 $ s(\mathbf{z}) $ 를 사용함으로써 인식 네트워크를 생성 모델의 학습에서 분리함으로써 공진화를 방지한다.
• 기타 표현력 있는 제안 분포 $ s(\mathbf{z}) $ 를 순간 일치로 찾고, EM 업데이트에 인식 네트워크에 의존하지 않고 사후 근사치를 향상시킨다.
• M단계에서 다수의 입자를 사용하여 진정한 마진 가능도를 더 정확히 근사하는 재가중 가능도 목적함수를 사용한다.

실험 결과

연구 질문

• RQ1 기댓값 최대화(EM)는 깊이 있는 생성 모델 훈련에 효과적으로 적용될 수 있으며, 변분 추론을 능가하는가?
• RQ2 중요도 가중 오토에코더(IWAE)는 EM의 특수한 경우인가? 그리고 이러한 통찰은 향상된 훈련 알고리즘을 이끌 수 있는가?
• RQ3 생성 모델의 학습 역학에서 인식 네트워크를 분리함으로써 사후 붕괴가 감소하고 모델 품질이 향상되는가?
• RQ4 순간 일치 제안 분포 $ s(\mathbf{z}) $ 는 EM 기반 훈련에서 인식 네트워크보다 더 나은 사후 근사치로 기능할 수 있는가?
• RQ5 REM은 표준 밀도 추정 벤치마크에서 VAE와 IWAE보다 더 뛰어난 로그 가능도 성능을 달성하는가?

주요 결과

• REM은 MNIST, Stochastic MNIST, Omniglot을 포함한 모든 테스트 데이터셋에서 VAE와 IWAE보다 로그 가능도 성능이 유의미하게 뛰어나다.
• Omniglot 데이터셋에서 REM(v2)는 테스트 로그 가능도 114.73을 기록했으며, IWAE의 113.94와 VAE의 109.84를 초월했다.
• 인식 네트워크 $ r_{\eta}(\mathbf{z}|\mathbf{x}) $ 는 EM 업데이트의 효과적인 제안으로 밝혀졌으며, 일부 경우에서 순간 일치 제안 $ s(\mathbf{z}) $ 를 능가했다.
• 입자 수 $ K $ 가 증가함에 따라 IWAE의 사후 근사치 품질이 악화되었으며, 이는 사전 분포로의 KL 발산 증가를 통해 나타났다. 이는 사후 근사치의 불안정성을 시사한다.
• REM은 VAE와 IWAE보다 더 나은 제안을 학습했으며, 사전 분포로의 더 낮은 KL 발산을 통해 사후 붕괴가 감소했음을 보여주었다.
• REM에서 순간 일치 제안 $ s(\mathbf{z}) $ 의 사용은 인식 네트워크를 생성 모델의 학습에서 성공적으로 분리했으며, 공진화를 방지하고 모델의 표현력을 향상시켰다.