[논문 리뷰] Dynamic and Static Topic Model for Analyzing Time-Series Document Collections

Rem Hida, Naoya Takeishi외 2명|arXiv (Cornell University)|2018. 05. 06.

Advanced Text Analysis Techniques참고 문헌 8인용 수 3

한 줄 요약

이 논문은 시간적 문서 컬렉션에서 주제의 시간적 변화와 계층적 주제 관계를 동시에 모델링하는 동적 및 정적 주제 모델(DSTM)을 제안한다. 여러 과거 주제로부터의 동적 주제 전이와 정적 주제 계층을 통합함으로써 DSTM은 퍼즐리티(Perplexity)에서 뛰어난 성능을 발휘하고 해석 가능한 주제 구조를 드러내어 과학 논문 데이터셋에서 LDA, PAM, DRTM를 능가한다.

ABSTRACT

For extracting meaningful topics from texts, their structures should be considered properly. In this paper, we aim to analyze structured time-series documents such as a collection of news articles and a series of scientific papers, wherein topics evolve along time depending on multiple topics in the past and are also related to each other at each time. To this end, we propose a dynamic and static topic model, which simultaneously considers the dynamic structures of the temporal topic evolution and the static structures of the topic hierarchy at each time. We show the results of experiments on collections of scientific papers, in which the proposed method outperformed conventional models. Moreover, we show an example of extracted topic structures, which we found helpful for analyzing research activities.

연구 동기 및 목표

• 기존 주제 모델이 동적 또는 정적 주제 구조 중 하나만 고려하는 한계를 해결하기 위해.
• 문서 컬렉션 내 시간적 의존성과 계층적 주제 관계를 통합함으로써 주제 모델의 해석 가능성과 모델링 정확도를 향상시키기 위해.
• 과학 문헌 및 뉴스 아카이브에서 연구 추세와 주제 변화를 더 잘 분석할 수 있도록 하기 위해.
• 시간에 따라 다중 주제 의존성을 포괄하고 각 시점에서 주제 계층을 포착하는 통합된 확률적 프레임워크를 개발하기 위해.

제안 방법

• DSTM는 시간 t에서의 주제-단어 분포를 이전 시간 t-1의 주제-단어 분포들의 가중합으로 모델링하며, 다수의 과거 주제로부터의 의존성을 반영하는 가중치 βt를 사용한다.
• 정적 구조는 계층적 사전확률을 통해 모델링되며, 각 시점의 슈퍼주제가 하위주제를 지배하고, 하위주제 관계의 강도를 제어하는 사전확률 αst를 사용한다.
• 모형은 시간에 따라 변하는 주제 분포를 가진 생성 과정을 사용하여 단어를 하위주제에, 하위주제를 슈퍼주제에, 슈퍼주제를 문서에 할당한다.
• 추론 및 학습은 변분 베이지안 추론을 사용하여 주변 가능도의 변분 하한을 최적화한다.
• 반복 최적화를 통해 DSTM은 동적 전이 가중치 βt와 정적 계층 가중치 αst를 동시에 학습한다.
• 이 방법은 주제 모델링과 주제 구조 추출을 모두 지원하여 변화하는 주제 관계와 계층적 주제 관계의 시각화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 주제 모델이 시간적 문서 컬렉션에서 동적 주제 변화와 정적 주제 계층을 동시에 포착할 수 있는가?
• RQ2 동적 및 정적 구조를 함께 모델링할 경우, 단일 구조만 고려하는 모델에 비해 주제 모델 성능이 어떻게 향상되는가?
• RQ3 추출된 주제 구조가 과학 문헌에서 의미 있는 연구 추세와 주제 간 관계를 어느 정도 드러내는가?
• RQ4 동적 변화에서 다중 주제 의존성을 통합할 경우, 단일 주제 의존성 모델에 비해 더 낮은 퍼즐리티와 더 높은 해석 가능성 달성할 수 있는가?

주요 결과

• DSTM는 NIPS 및 드론 데이터셋 모두에서 모든 설정에서 가장 낮은 퍼즐리티를 기록하여 LDA, PAM, DRTM를 능가했다.
• NIPS 데이터셋에서 DSTM는 K=30일 때 퍼즐리티 1378.7 (±16.5)를 기록했으며, LDA는 1455.6 (±16.7), DRTM는 1380.7 (±18.5)였고, 대응 t-검정에서 p-value < 0.001이었다.
• 드론 데이터셋에서 DSTM는 K=25일 때 퍼즐리티 1171.6 (±141.4)를 기록했으며, DRTM의 1201.2 (±143.5)와 LDA의 1644.7 (±193.0)보다 유의미하게 낮았다.
• 모델은 해석 가능한 주제 구조를 성공적으로 추출했으며, 2015–2016년 사이에 '플래닝'(planning) 주제가 '매핑'(mapping) 주제를 포함하게 되어 실제 연구 추세를 반영했다.
• 동적 관계는 2016년 이후 '온라인'(online) 플래닝에 대한 관심 증가를 드러냈으며, 이는 차량 내 컴퓨팅 기술의 발전과 관련이 있었다.
• 정적 관계는 2013–2014년 '플래닝' 주제가 '하드웨어'(hardware) 및 '제어'(control)와 연결되어 있었지만, 2015–2016년에는 '매핑'과 연결되어 연구 초점의 변화를 나타냈다.