[논문 리뷰] Autoencoding Variational Inference For Topic Models

Akash Srivastava, Charles Sutton|arXiv (Cornell University)|2017. 03. 04.

Topic Modeling인용 수 144

한 줄 요약

이 논문은 디렉트리 priors 및 구성 요소 붕괴를 다루면서 잠재 디리클레 할당(LDA)에 대한 신경 추론 네트워크를 사용하는 효과적인 자동 인코딩 변분 베이지스(AVB) 방법인 AVITM을 소개하며, ProdLDA를 제시하여 주제 일관성을 개선합니다.

ABSTRACT

Topic models are one of the most popular methods for learning representations of text, but a major challenge is that any change to the topic model requires mathematically deriving a new inference algorithm. A promising approach to address this problem is autoencoding variational Bayes (AEVB), but it has proven diffi- cult to apply to topic models in practice. We present what is to our knowledge the first effective AEVB based inference method for latent Dirichlet allocation (LDA), which we call Autoencoded Variational Inference For Topic Model (AVITM). This model tackles the problems caused for AEVB by the Dirichlet prior and by component collapsing. We find that AVITM matches traditional methods in accuracy with much better inference time. Indeed, because of the inference network, we find that it is unnecessary to pay the computational cost of running variational optimization on test data. Because AVITM is black box, it is readily applied to new topic models. As a dramatic illustration of this, we present a new topic model called ProdLDA, that replaces the mixture model in LDA with a product of experts. By changing only one line of code from LDA, we find that ProdLDA yields much more interpretable topics, even if LDA is trained via collapsed Gibbs sampling.

연구 동기 및 목표

• Hand-deriving model-specific updates 없이도 주제 모델에 대한 블랙박스이고 빠른 추론을 가능하게 한다는 동기 부여 및 실현.
• LDA에 대한 AEVB에서 Dirichlet priors 및 구성 요소 붕괴 문제를 극복한다.
• 추론 네트워크가 전통적인 추론 품질에 근접하면서도 테스트 시 시간 성능을 크게 향상시킬 수 있음을 증명한다.
• ProdLDA를 도입하여 LDA보다 개선된 주제 일관성을 보여 주는 질의-전문가(prodcut-of-experts) 주제 모델을 제시한다.

제안 방법

• AVITM 개발: 추론 네트워크를 사용하여 q(θ,z|γ,φ)를 매개변수화하고 재매개변수화 기법으로 ELBO를 최적화한다.
• softmax 기반의 Laplace 근사를 사용하여 Dirichlet priors를 Gaussian 유사 재매개변수화가 가능하도록 한다.
• LDA에서 z를 합성 표현으로 축소하여 샘플링을 θ만으로 간소화한다.
• 고 모멘텀 Adam 최적화, 배치 정규화, 드롭아웃 및 KL 항의 완화를 통해 구성 요소 붕괴를 해결한다.
• ProdLDA를 혼합 단어 모델 대신 전문가의 곱으로 대체하여 학습한다. 즉, p(w_n|θ,β) ∝ ∏_k p(w_n|z_n=k,β)^{θ_k}.
• 추론 네트워크를 사용하여 문서를 직접 주제 비율로 매핑함으로써 학습 시점 및 테스트 시점의 효율성을 제공한다.

실험 결과

연구 질문

• RQ1 AVIB 방법이 Dirichlet priors 및 구성 요소 붕괴를 다룸으로써 LDA에 효과적으로 적용될 수 있는가?
• RQ2 추론 네트워크가 테스트 시간 최적화 없이도 새 문서에 대한 빠르고 정확한 사후 추정을 가능하게 하는가?
• RQ3 ProdLDA가 표준 LDA에 비해 향상된 주제 일관성을 제공하는가, 그리고 어떤 학습 조건에서 그런가?
• RQ4 AVITM이 주제 품질과 속도 측면에서 온라인 평균장 추론 및 축소된 Gibbs 샘플링과 비교하여 어떤 차이가 있는가?
• RQ5 AVITM이 블랙박스 인퍼런스 방법으로 새로운 주제 모델에 쉽게 적용 가능한가?

주요 결과

• AVITM은 표준 평균장 추론과 동등한 품질의 주제를 더 빠른 학습 및 테스트 시점 성능으로 제공합니다.
• 추론 네트워크는 최적화 기반 접근법과 유사한 퍼플렉시티를 가지며 새로운 문서에 대해 변분 최적화를 실행하지 않고도 주제 비율을 추정할 수 있습니다.
• ProdLDA는 표준 LDA보다 일관된 주제 일관성을 지속적으로 제공하며, LDA가 Gibbs 샘플링으로 학습된 경우에도 마찬가지입니다.
• AVITM은 단일 GPU에서 약 80분 이내로 대규모 말뭉치(예: 약 100만 문서) 학습을 가능하게 하며, LDA에서 ProdLDA로 전환하는 한 줄의 코드 변경으로 수행됩니다.
• Laplace 근사 Dirichlet priors와 배치 정규화가 높은 모멘텀 학습과 결합되어 구성 요소 붕괴를 완화하고 주제 희소성과 일관성을 향상시킵니다.
• ProdLDA의 더 높은 주제 희소성은 주제 일관성 개선과 상관관계가 있으며, 신경 주제 모델에서 Dirichlet 유사 priors의 이점을 뒷받침합니다.