[논문 리뷰] Learning Latent Space Energy-Based Prior Model

Bo Pang, Tian Han외 3명|arXiv (Cornell University)|2020. 06. 15.

Topic Modeling참고 문헌 84인용 수 4

한 줄 요약

이 논문은 생성 네트워크의 잠재 공간에서 표현력 있는 사전 분포를 학습함으로써 생성 모델을 향상시키는 잠재 공간 기반 에너지 모델 사전 분포를 제안한다. 짧은 런 MCMC 샘플링을 사용한 최대우도 추정을 통해 에너지 기반 사전 분포와 상향식 생성기의 공동 학습을 통해, 이미지 및 텍스트 생성, 이상 탐지에서 최신 기술 수준의 성능을 달성하며, 저차원 잠재 공간에서 뛰어난 샘플 품질과 효율적인 혼합을 보여준다.

ABSTRACT

We propose to learn energy-based model (EBM) in the latent space of a generator model, so that the EBM serves as a prior model that stands on the top-down network of the generator model. Both the latent space EBM and the top-down network can be learned jointly by maximum likelihood, which involves short-run MCMC sampling from both the prior and posterior distributions of the latent vector. Due to the low dimensionality of the latent space and the expressiveness of the top-down network, a simple EBM in latent space can capture regularities in the data effectively, and MCMC sampling in latent space is efficient and mixes well. We show that the learned model exhibits strong performances in terms of image and text generation and anomaly detection. The one-page code can be found in supplementary materials.

연구 동기 및 목표

• 생성 네트워크의 잠재 공간에서 정보적인 사전 분포를 학습함으로써 딥 생성 모델의 표현력을 향상시키는 것.
• 기존 VAE에서 사용하는 정보가 없는 사전 분포(예: 등방성 가우시안)의 한계를 극복하기 위해 에너지 기반 모델링을 통해 데이터 기반 사전 분포를 학습하는 것.
• 최대우도 추정과 MCMC 샘플링을 사용한 에너지 기반 사전 분포와 상향식 생성기의 공동 학습 프레임워크를 개발하는 것.
• 잠재 공간의 저차원성에 기반해 효율적이고 잘 혼합되는 MCMC 샘플링을 보장하는 것.
• 추론 네트워크를 통한 추론의 효율화 가능성을 지닌 짧은 런 MCMC 기반 이론적 기반 학습 방법을 제공하는 것.

제안 방법

• 작은 전방향 신경망으로 매개변수화된 음수 에너지 함수를 가진 에너지 기반 모델(EBM)로 잠재 사전 분포를 정의: $ p_{\alpha}(z) = \frac{1}{Z(\alpha)} \exp(f_{\alpha}(z)) p_0(z) $, 여기서 $ p_0(z) $ 는 표준 가우시안이다.
• 학습된 잠재 사전 분포를 데이터 분포로 매핑하기 위해 상향식 생성 네트워크 $ g_{\beta}(z) $ 를 사용하며, 모odal에 따라 $ p_{\beta}(x|z) $ 는 가우시안 또는 순차적 모델로 정의된다.
• 고정된 수의 스텝과 고정된 초기 분포에서 시작하여, $ p(z|x) $ 와 $ p_{\alpha}(z) $ 를 근사하기 위해 우선 사전 분포와 사후 분포 추론 모두에 짧은 런 MCMC 샘플링을 사용한다.
• 노이즈와 기울기 스텝을 사용한 랭제비안 역학을 통해 사후 및 사전 분포에서 샘플링: $ z_{t+1} = z_t - \frac{1}{2} a^2 (\nabla \log p(x|z) + \nabla f_{\alpha}(z) + \frac{1}{z}) + a \epsilon $.
• 사전 분포와 사후 분포 샘플 간의 차이를 기반으로 EBM 매개변수를 업데이트하고, 재구성 손실을 통해 생성기 매개변수를 업데이트함으로써 공동 최대우도 학습을 수행한다.
• 후속 연구에서 추론을 학습된 네트워크로 추론을 효율화하나, 현재 방법은 추론의 효율화 없이 순수하게 짧은 런 MCMC에 의존한다.

실험 결과

연구 질문

• RQ1 생성 모델의 잠재 공간에서 에너지 기반 사전 분포를 학습함으로써 고정된 사전 분포 대비 샘플 품질과 모델링 능력이 향상되는가?
• RQ2 이 프레임워크에서 저차원 잠재 공간에서의 짧은 런 MCMC 샘플링이 사전 및 사후 추론에 얼마나 효과적인가?
• RQ3 에너지 기반 사전 분포와 상향식 생성기의 공동 최대우도 학습이 이미지 및 텍스트 생성 작업에서 더 뛰어난 성능을 내는가?
• RQ4 이 모델이 이상 탐지 작업으로 일반화되는 정도는 어느 정도인가?
• RQ5 짧은 런 MCMC 학습의 이론적 기반을 신경망을 통한 추론 효율화로 확장할 수 있는가?

주요 결과

• 60개의 사후 MCMC 스텝과 128채널 생성기로 SVHN에서 FID 점수가 26.13으로 향상되어 강력한 이미지 생성 성능을 보였다.
• 사후 샘플링에 사용된 짧은 런 MCMC 스텝 수를 20에서 60으로 늘임으로써 FID 점수가 29.44에서 26.13으로 감소하여 샘플 품질 향상을 확인했다.
• 모델 복잡도를 높이면(예: EBM에 200개의 은닉 유닛, 생성기에 128채널) FID 점수가 26.95로 향상되어 능력 증가에 따라 표현력 향상이 확인되었다.
• 고정된 가우시안 사전 분포 대비 잠재 공간 EBM 사전 분포가 유의미하게 뛰어난 성능을 보였으며, 동일한 설정에서 FID가 고정 가우시안 사전 분포의 32.25에서 학습된 EBM 사전 분포의 26.95로 감소했다.
• 텍스트 생성 및 이상 탐지 작업에서도 경쟁적인 성능을 보이며, 이미지 합성 외의 일반화 능력을 입증했다.
• 이론적 분석을 통해 짧은 런 MCMC 학습이 최대우도 추정의 타당한 변형임을 확인하였으며, 이는 방법의 견고한 이론적 기반을 제공한다.