[논문 리뷰] The Dynamic Embedded Topic Model

Adji Bousso Dieng, Francisco J. R. Ruiz외 1명|arXiv (Cornell University)|2019. 07. 12.

Computational and Text Analysis Methods참고 문헌 57인용 수 26

한 줄 요약

동적 임bed딩 주제 모델(d-ETM)은 동적 잠재 디리클레 할당(d-lda)과 단어 임베딩을 통합하여 문서 컬렉션 내에서 시간에 따라 변화하는 주제를 모델링한다. 주제를 단어 임베딩 공간 내의 시간에 따라 변하는 벡터로 표현하고, 부드러운 궤적을 확보하기 위해 랜덤 워크 사전확률을 사용함으로써 d-ETM는 d-lda에 비해 주제 일관성과 다양성을 향상시키고 학습 시간을 단축시킨다.

ABSTRACT

Topic modeling analyzes documents to learn meaningful patterns of words. For documents collected in sequence, dynamic topic models capture how these patterns vary over time. We develop the dynamic embedded topic model (D-ETM), a generative model of documents that combines dynamic latent Dirichlet allocation (D-LDA) and word embeddings. The D-ETM models each word with a categorical distribution parameterized by the inner product between the word embedding and a per-time-step embedding representation of its assigned topic. The D-ETM learns smooth topic trajectories by defining a random walk prior over the embedding representations of the topics. We fit the D-ETM using structured amortized variational inference with a recurrent neural network. On three different corpora---a collection of United Nations debates, a set of ACL abstracts, and a dataset of Science Magazine articles---we found that the D-ETM outperforms D-LDA on a document completion task. We further found that the D-ETM learns more diverse and coherent topics than D-LDA while requiring significantly less time to fit.

연구 동기 및 목표

• 기존 주제 모델이 시간적 문서 컬렉션 내 희귀어와 장미어 패턴을 포착하는 데에 한계를 보이는 문제를 해결하기 위해.
• 정적인 특성을 지닌 ETM을 개선하여 주제의 시간에 따른 진화를 모델링하기 위해.
• 대규모 시간순서 정렬된 문서 코퍼스에서 효율적인 학습을 가능하게 하는 확장 가능한 추론 방법을 개발하기 위해.
• 단어 임베딩과 동적 주제 모델링의 통합이 d-lda에 비해 예측 성능과 주제 품질을 향상시키는지 평가하기 위해.

제안 방법

• 각 주제를 사전에 학습된 단어 임베딩 공간 내의 시간에 따라 변하는 벡터로 모델링하고, 단어-주제 확률을 단어 임베딩과 주제 임베딩 간의 내적곱으로 유도한다.
• 시간 단계 간 주제 임베딩에 대해 랜덤 워크 사전확률을 구현하여 부드럽고 연속적인 주제 진화를 보장한다.
• 장기 숏텀 기억(LSTM) 네트워크를 파arameterizing하여 잠재 변수에 대한 변분 사후분포를 추론하기 위해 구조화된 암시적 변분 추론을 사용한다.
• 데이터 샘플링과 재구성 기반 경사하강법을 적용하여 스트로스틱 최적화를 가능하게 하고 대규모 코퍼스에서의 확장 가능한 학습을 실현한다.
• 추론 중 이산적 주제 지표를 축소하여 확률적 요소를 통해 역전파를 가능하게 하고 최적화 효율성을 향상시킨다.
• 대부분의 잠재 변수에 대해 완전 분해된 가우시안 근사법을 사용하고, 주제 임베딩 궤적에 대해 전체 공분산 가우시안을 사용하여 상관관계를 포착한다.

실험 결과

연구 질문

• RQ1 단어 임베딩과 동적 주제 모델링을 통합하면 시간적 문서 컬렉션 내 주제 일관성과 다양성이 향상되는가?
• RQ2 d-ETM은 문서 완성 작업에서 d-lda에 비해 예측 성능이 뛰어나기는 한가?
• RQ3 d-ETM의 성능 향상은 추론 절차가 아닌 모델 구조 때문인가?
• RQ4 학습된 주제 궤적이 실제 역사적 사건과 언어 사용의 의미적 변화와 얼마나 잘 일치하는가?

주요 결과

• d-ETM는 모든 세 가지 평가 코퍼스(유엔 회의 논의, ACL 초록, 사이언스 매거진 기사)에서 d-lda보다 문서 완성 성능이 뛰어나며, 낮은 퍼플렉서티를 기록했다.
• d-ETM는 d-lda에 비해 주제 일관성과 다양성이 유의미하게 높으며, 모든 데이터셋에서 주제 품질(일관성과 다양성의 곱)이 향상되었다.
• d-ETM는 더 풍부한 모델 구조를 지녔음에도 불구하고 d-lda에 비해 훨씬 적은 학습 시간을 소요하여 뛰어난 계산 효율성을 입증했다.
• 모델은 시간에 따른 의미적 변화를 성공적으로 포착했으며, 1990년대 오존층 우려에서 2015년 기후 변화, 온실가스 배출로 이르는 주제의 진화를 반영했다.
• 단어 확률 궤적은 역사적 사건을 반영한다. 예를 들어 1975년 이후 동남아시아 주제에서 '베트남'의 빈도가 감소하고, 핵무기 논의에서 '이란'의 중요성이 증가하는 경향을 보였다.
• 제거 실험 결과, 동일한 추론 설정을 사용한 d-lda-rep는 d-lda보다 성능이 열 劣하고 빠르기만 하며, d-ETM의 성능 향상이 추론 방법이 아닌 모델 설계 덕분임을 확인했다.