[논문 리뷰] Flexible and accurate inference and learning for deep generative models

Eszter Vértes, Maneesh Sahani|arXiv (Cornell University)|2018. 05. 28.

Generative Adversarial Networks and Image Synthesis인용 수 24

한 줄 요약

이 논문은 분포 기반 코드(Distributed Distributional Code, DDC)를 사용하는 헬름홀츠 기계인 분산 분포 기반 코드 헬름홀츠 기계(Distributed Distributional Code Helmholtz Machine)를 소개한다. 이는 후행 분포를 특정한 비모수적 형태가 아닌 기대 충분 통계량으로 표현하여, 유연하고 정확한 후행 근사치를 가능하게 하는 새로운 방법이다. 이는 합성 데이터, 이미지 패치, MNIST 데이터에서 기존 최고 수준의 방법들인 VAE, IWAE, VIMCO보다 뛰어난 성능을 보이며, 유의미하게 높은 우도값과 분포 적합도를 달성한다.

ABSTRACT

We introduce a new approach to learning in hierarchical latent-variable generative models called the "distributed distributional code Helmholtz machine", which emphasises flexibility and accuracy in the inferential process. In common with the original Helmholtz machine and later variational autoencoder algorithms (but unlike adverserial methods) our approach learns an explicit inference or "recognition" model to approximate the posterior distribution over the latent variables. Unlike in these earlier methods, the posterior representation is not limited to a narrow tractable parameterised form (nor is it represented by samples). To train the generative and recognition models we develop an extended wake-sleep algorithm inspired by the original Helmholtz Machine. This makes it possible to learn hierarchical latent models with both discrete and continuous variables, where an accurate posterior representation is essential. We demonstrate that the new algorithm outperforms current state-of-the-art methods on synthetic, natural image patch and the MNIST data sets.

연구 동기 및 목표

• 계층적 잠재변수 모델에 대한 변분 추론에서 제한적인 후행 근사치에 의해 유도되는 편향 문제를 해결한다.
• 이산 및 연속 잠재변수를 포함한 복잡한 계층적 구조를 가진 제너레이티브 모델의 정확한 학습을 가능하게 한다.
• 기존 방법들인 VAE와 IWAE가 비모수적 또는 샘플 기반 후행 표현에 의존하는 데서 비롯되는 한계를 극복한다.
• 스토케스틱 레이어를 거쳐 내려오는 기울기 역전파를 피하면서도 높은 후행 정확도를 유지하는 학습 알고리즘을 개발한다.
• 합성 데이터, 자연 이미지 패치, 이진화된 MNIST를 포함한 벤치마크 데이터셋에서 뛰어난 성능을 입증한다.

제안 방법

• 후행 분포를 기대 충분 통계량(Distributed Distributional Code, DDC)으로 표현함으로써, 특정한 비모수적 형태를 가정하지 않고도 민감하고 비모수적 후행 근사치를 가능하게 한다.
• 생성 모델과 인식 모델을 동시에 학습하기 위해 웨이크-슬립 알고리즘을 확장하며, 생성 모델에서 유도된 샘플을 사용해 인식 네트워크를 업데이트한다.
• 학습 과정을 계층별 업데이트로 분해함으로써, 스토케스틱 잠재 레이어를 거쳐 내려오는 기울기 역전파 없이도 학습이 가능하도록 한다.
• 관측치를 DDC 표현으로 매핑하는 인식 네트워크(학습 가능한 파rameter를 가짐)를 사용해, 추론의 효율화를 도모한다.
• 조건부 우도에 대해 지수족 분포를 활용함으로써, 샘플링이 가능하고 충분 통계량 계산이 효율적으로 이루어지도록 보장한다.
• 실제 데이터와 생성된 데이터 간의 분포 유사도 평가를 위해 가우시안 커널을 사용한 상대 MMD 검정을 적용하며, 테스트 세트를 기준 분포로 사용한다.

실험 결과

연구 질문

• RQ1 비모수적 후행 표현이 계층적 딥 제너레이티브 모델에서 추론 및 학습의 정확도를 향상시킬 수 있는가?
• RQ2 이산 및 연속 잠재변수를 동시에 포함한 복잡한 데이터 분포를 모델링할 때, DDC 헬름홀츠 기계는 VAE, IWAE, VIMCO와 비교해 어떻게 성능을 냈는가?
• RQ3 모수적 가정이나 샘플링에 의존하지 않고도 DDC 표현이 얼마나 풍부한 후행 구조를 포괄할 수 있는가?
• RQ4 스토케스틱 레이어를 거쳐 내려오는 기울기 역전파를 피하는 것이 모델 성능이나 학습 안정성에 영향을 미치는가?
• RQ5 DDC-HM은 합성 데이터, 자연 이미지 패치, 이진화된 MNIST를 포함한 다양한 데이터 모odal에 일반화 가능한가?

주요 결과

• 자연 이미지 패치에서 DDC 헬름홀츠 기계는 IWAE(k=50)보다 유의미하게 뛰어난 분포 적합도를 보였으며, 모든 테스트 아키텍처에서 p값 < 10^-87을 기록했다.
• 이진화된 MNIST에서 DDC-HM은 VIMCO보다 낮은 MMD 값(2×10^-3)을 기록했으며, p값 < 10^-20이었고, 이는 진정한 데이터 분포에 더 잘 적합함을 시사한다.
• 합성 데이터에서 DDC-HM은 VAE와 IWAE를 모두 압도했으며, 복잡한 계층적 구조가 있는 진정한 제너레이티브 과정의 정확한 복원을 보여주었다.
• 특정한 모수적 형태를 가정하지 않아도 DDC 표현이 정확한 후행 근사치를 가능하게 하여, 불일치한 변분 가정으로 인한 편향을 감소시켰다.
• 다양한 잠재 차원(예: D1=100, D2=10)에서도 높은 성능을 유지하여, 강건성과 확장성을 입증했다.
• 상대 MMD 검정 결과, DDC-HM이 생성한 샘플은 경쟁 방법들보다 훨씬 높은 신뢰 수준에서 실제 데이터와 통계적으로 구분되지 않았다.