[논문 리뷰] Discovering Discrete Latent Topics with Neural Variational Inference

Yishu Miao, Edward Grefenstette외 1명|arXiv (Cornell University)|2017. 06. 01.

Topic Modeling참고 문헌 25인용 수 162

한 줄 요약

논문은Gaussian 기반 신경망(GSM, GSB, RSB)으로 매개변수화된 이산 잠재 주제를 발견하는 신경 주제 모델과 잘려나지 않는 순환 stick-breaking 방식(RSB-TF)을 소개하여 여러 코퍼스에서 강력한 perplexity와 주제 일관성을 달성합니다.

ABSTRACT

Topic models have been widely explored as probabilistic generative models of documents. Traditional inference methods have sought closed-form derivations for updating the models, however as the expressiveness of these models grows, so does the difficulty of performing fast and accurate inference over their parameters. This paper presents alternative neural approaches to topic modelling by providing parameterisable distributions over topics which permit training by backpropagation in the framework of neural variational inference. In addition, with the help of a stick-breaking construction, we propose a recurrent network that is able to discover a notionally unbounded number of topics, analogous to Bayesian non-parametric topic models. Experimental results on the MXM Song Lyrics, 20NewsGroups and Reuters News datasets demonstrate the effectiveness and efficiency of these neural topic models.

연구 동기 및 목표

• 전통적인 토픽 모델이 다루기 어려운 비정합(conjugacy) 및 맥락이 풍부한 문서 데이터를 다루기 위해 신경적 대안을 제시한다.
• 엔드-투-엔드 역전파가 가능하도록 신경망을 활용해 주제 분포를 매개변수화한다.
• 희소하고 주제 지향적인 문서 표현을 모델링하기 위해 유한(GSM, GSB)과 무한(RSB, RSB-TF) 주제 모델을 탐구한다.
• 표준 데이터셋(MXM Song Lyrics, 20NewsGroups, Reuters)에서 이 모델의 효율성과 견고함을 입증한다.

제안 방법

• 가우시안 잠재변수를 조건으로 하는 세 가지 신경 구성요소인 Gaussian Softmax(GSM), Gaussian Stick Breaking(GSB), Recurrent Stick Breaking(RSB)를 정의한다.
• q(θ|d) 추론 네트워크를 사용하여 p(θ|d)를 근사하고 그라데이션 추정에 대해 재매개변수를 적용하는 변분 오토인코더 프레임워크를 사용한다.
• 단어 벡터와 주제 벡터에 대해 softmax를 통해 β(주제-단어 분포)를 매개변수화하여 Θ(주제/단어 매개변수)와 Φ(추론 매개변수)의 엔드투엔드 학습을 가능하게 한다.
• RSB를 주제 RNN과 결합해 무한 시퀀스의 주제를 동적으로 생성하는 무한 주제 모델을 구현한다(RSB, RSB-TF).
• 새로운 주제가 증거 하한(EVB)을 제어된 수용 임계값 γ로 개선되면 추가되는 잘려나가지 않는 변분 추론 스킴을 도입한다.
• 신경 주제 모델을 전통적인 LDA 기반 및 신경 문서 모델과 비교하여 perplexity와 주제 일관성을 분석한다.

실험 결과

연구 질문

• RQ1 신경망이 문서 모델링을 위한 이산 주제 분포를 효과적으로 매개변수화할 수 있는가?
• RQ2 GSM, GSB, RSB가 표준 코퍼스에서 perplexity와 일관성 측면에서 전통적인 LDA 및 신경 baselines보다 우수한가?
• RQ3 순환 stick-breaking 구성은 backpropagation으로도 학습 가능한 잘려나가지 않는 무한 주제 모델을 만들 수 있는가?
• RQ4 암시적 주제 분포(문서-모델 변형)가 명시적 주제-단어 분포에 비해 일반화와 일관성에 어떤 영향을 미치는가?
• RQ5 RSB-TF의 동적 주제 생성이 데이터셋 전반의 성능과 주제 다양성에 어떤 영향을 주는가?

주요 결과

• GSM, GSB, 및 RSB는 MXM, 20NewsGroups, Reuters 데이터셋에서 perplexity 면에서 여러 베이스라인(LDA, NVLDA)보다 우수하다.
• RSB-TF(잘려나가지 않는 방식)는 테스트된 데이터셋에서 HDP보다 더 나은 perplexity를 달성하여 동적 주제 증가의 이점을 보여준다.
• 암시적 주제 분포로 전환하면 일반화가 개선되고 보통은 명시적 주제-단어 분포보다 perplexity가 더 좋게 나타난다(모델 간 비교에서).
• RSB는 20NewsGroups에서 GSM 및 GSB보다 50- 및 200-주제 설정 모두에서 우수할 수 있으며, 순차적 stick-breaking을 통해 의존성을 포착하기 때문일 가능성이 있다.
• 주제 일관도(NPMI)는 신경 주제 모델 간에 비슷하며, stick-breaking 순서의 초기 주제일수록 더 높은 일관성을 보이는 경향이 있다.
• RSB-TF는 학습 중에 주제를 동적으로 활성화하며, 20NewsGroups에서 일반적으로 200–300개의 활성 주제 사이의 수렴이 관찰되고 초기 주제 수에 대해 민감도가 낮다.