[논문 리뷰] A Discrete Variational Recurrent Topic Model without the Reparametrization Trick

Mehdi Rezaee, Francis Ferraro|arXiv (Cornell University)|2020. 10. 22.

Topic Modeling참고 문헌 50인용 수 14

한 줄 요약

이 논문은 재분해 또는 확률적 역전파를 사용하지 않고도 명시적이고 단어 수준의 주제 할당을 유지하는 이산 변분 순환 주제 모델을 제안한다. 순환 신경망 기반의 시퀀스 모델링과 신경 변분 추론을 결합함으로써, 퍼즐러피티와 문서 이해도를 향상시키면서도 주제 비율에 대한 딜리클레 사전분포를 통해 해석 가능한 주제 모델링을 가능하게 한다.

ABSTRACT

We show how to learn a neural topic model with discrete random variables---one that explicitly models each word's assigned topic---using neural variational inference that does not rely on stochastic backpropagation to handle the discrete variables. The model we utilize combines the expressive power of neural methods for representing sequences of text with the topic model's ability to capture global, thematic coherence. Using neural variational inference, we show improved perplexity and document understanding across multiple corpora. We examine the effect of prior parameters both on the model and variational parameters and demonstrate how our approach can compete and surpass a popular topic model implementation on an automatic measure of topic quality.

연구 동기 및 목표

• 재분해 또는 근사화를 피하면서 각 단어에 대해 이산 주제 할당을 명시적으로 유지하는 신경 주제 모델을 개발하는 것.
• 순환 신경망과 변분 추론을 통합하여 시퀀스 내 주제적(주제) 및 문법적 단어 동적 특성을 모델링하는 것.
• 특히 문서-주제 비율에 대한 딜리클레 사전분포가 모델 성능과 변분 매개변수 제어에 미치는 영향을 조사하는 것.
• 명시적인 주제 할당을 유지함으로써 주제 품질과 언어 이해도가 근사화된 주제를 사용하는 모델보다 향상됨을 보여주는 것.
• 사전 처리와 주제 모델링을 통합적으로 고려할 수 있는 프레임워크를 제공하여 NLP 워크플로우에서의 해석 가능성과 제어력을 제공하는 것.

제안 방법

• 텍스트의 순차적 의존성을 모델링하기 위해 순환 신경망을 사용하며, 은닉 상태가 국소적인 문법적 구조를 캡처한다.
• 각 단어를 범주형 분포를 통해 이산 주제에 할당하여 학습 전반에 걸쳐 명시적인 주제 할당을 유지한다.
• 재분해 없이 변분 추론을 적용하기 위해 이산 잠재 변수를 위한 이산적 리듬 기법을 사용하여 주제 할당을 통해 역전파를 수행한다.
• 문서-주제 비율(θ)에 대한 딜리클레 사전분포를 사용하여 학습된 주제의 희박성과 다양성에 대한 세밀한 제어를 제공한다.
• 이산 잠재 변수의 미분 가능 리듬을 활용하여 기울기 기반 최적화를 가능하게 하며, 이로써 이산 변수에 대한 확률적 역전파를 피한다.
• 재구성과 정규화의 균형을 맞추기 위해 음수 변분 하한(ELBO) 목적함수를 사용해 모델을 종단 간(end-to-end)으로 학습시킨다.

실험 결과

연구 질문

• RQ1 재분해 또는 근사화 없이도 순환 주제 모델이 명시적이고 이산적인 단어 수준의 주제 할당을 유지할 수 있는가?
• RQ2 다양한 사전분포, 특히 딜리클레 분포와 가우시안 분포가 학습된 변분 매개변수의 구조와 주제 품질에 어떤 영향을 미치는가?
• RQ3 명시적인 주제 할당을 유지함으로써 주제를 근사화하는 모델과 비교해 언어 모델링 성능과 문서 이해도가 향상되는가?
• RQ4 사전분포의 매개변수는 주제의 통합성과 문법적 의존성을 포착하는 데 모델의 능력에 얼마나 영향을 미치는가?
• RQ5 모델의 설계는 사전 처리와 주제 모델링을 통합함으로써 후속 NLP 워크플로우에서의 해석 가능성과 제어를 지원할 수 있는가?

주요 결과

• 기준 모델들보다 여러 코퍼스에서 더 낮은 퍼즐러피티를 달성하여 언어 모델링 성능 향상을 보였다.
• 자동 주제 품질 메트릭에서 인기 있는 주제 모델 구현보다 뛰어난 성능을 보이며 더 높은 일관성과 해석 가능성을 입증했다.
• 문서-주제 비율에 딜리클레 사전분포를 사용하면 가우시안 사전분포보다 주제 분포의 희박성과 다양성에 대해 더 세밀한 제어가 가능했다.
• 학습 및 추론 전반에 걸쳐 명시적인 주제 할당을 유지하여 단어-주제 관계를 직접 점검하고 분석할 수 있었다.
• 재분해를 사용하거나 주제를 근사화하는 모델보다 특히 장거리 주제적 의존성을 포착하는 데 뛰어난 성능을 보였다.
• 딥 러닝 구성 요소를 사용하더라도 사전분포 설계가 신경 주제 모델링에서 여전히 핵심적인 요소임을 입증했다.