[논문 리뷰] Integrating Document Clustering and Topic Modeling

Pengtao Xie, Eric P. Xing|arXiv (Cornell University)|2013. 09. 26.

Topic Modeling참고 문헌 14인용 수 97

한 줄 요약

이 논문은 지역 주제(각 클러스터 내에서)와 전역 주제(모든 클러스터 간에서 공유되는 주제)를 통합함으로써 문서 군집화와 주제 모델링을 동시에 수행하는 통합 다중 해상도 군집 주제 모델(MGCTM)을 제안한다. 변분 추론을 사용하여 MGCTM는 별도의 군집화와 주제 모델링보다 뛰어난 성능을 보이며, 더 높은 주제 일관성과 주제-군집 간의 더 나은 일치도를 달성한다.

ABSTRACT

Document clustering and topic modeling are two closely related tasks which can mutually benefit each other. Topic modeling can project documents into a topic space which facilitates effective document clustering. Cluster labels discovered by document clustering can be incorporated into topic models to extract local topics specific to each cluster and global topics shared by all clusters. In this paper, we propose a multi-grain clustering topic model (MGCTM) which integrates document clustering and topic modeling into a unified framework and jointly performs the two tasks to achieve the overall best performance. Our model tightly couples two components: a mixture component used for discovering latent groups in document collection and a topic model component used for mining multi-grain topics including local topics specific to each cluster and global topics shared across clusters.We employ variational inference to approximate the posterior of hidden variables and learn model parameters. Experiments on two datasets demonstrate the effectiveness of our model.

연구 동기 및 목표

• 서로 강한 상관관계가 있음에도 불구하고 자주 별도로 수행되는 문서 군집화와 주제 모델링 간의 상호 의존성 문제를 해결한다.
• 표준 주제 모델(예: LDA)이 전역 주제와 클러스터별로 특화된 국지 주제를 구분하지 못하는 한계를 극복한다.
• 원시 어휘 빈도를 넘어서 의미적 구조를 포착하기 위해 주제 모델링을 활용하여 군집 성능을 향상시킨다.
• 군집화를 통해 전체 코퍼스 배경 주제와 그룹별 특화 주제를 분리함으로써 주제의 해석 가능성을 향상시킨다.
• 군집 소속, 문서-주제 분포, 주제를 동시에 추론하는 통합적 생성 모델을 개발하여 상호 최적화를 달성한다.

제안 방법

• 각 문서가 모든 클러스터에 공유되는 전역 주제와 해당 클러스터에 특화된 국지 주제의 혼합으로 구성된 생성 모델을 제안한다.
• 각 클러스터의 국지 주제에 대해 딜리클레 prior를 사용하여 군집 소속을 은닉 변수로 모델링한다.
• 모든 문서의 전역 주제 비율을 제어하기 위해 공통된 딜리클레 prior를 사용한다.
• 은닉 변수(군집 소속, 주제 할당, 주제 비율)의 사후 분포를 근사하기 위해 변분 추론을 적용한다.
• 단일 통합 프레임워크 내에서 군집 레이블, 주제 분포, 주제-단어 분포를 동시에 추론한다.
• 군집화와 주제 모델링을 단일 확률 모델에 통합하여 상호 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 문서 군집화와 주제 모델링을 함께 모델링하면 별도로 수행할 경우보다 성능이 향상되는가?
• RQ2 제안된 모델이 클러스터 간 공유되는 전역 주제와 각 클러스터에 특화된 국지 주제를 효과적으로 구분할 수 있는가?
• RQ3 주제 모델링에 클러스터 구조를 통합하면 더 일관성 있고 해석 가능한 주제를 도출할 수 있는가?
• RQ4 주제 모델링을 통해 문서의 저차원적이고 의미가 풍부한 표현을 제공함으로써 군집 성능을 향상시킬 수 있는가?
• RQ5 MGCTM의 성능은 K-means + MGCTM 및 CTM와 같은 기준 모델 대비 주제 일관성과 군집-주제 관련성 측면에서 어떻게 비교되는가?

주요 결과

• 다섯 명의 평가자에게 평가한 결과, MGCTM는 평균 주제 일관성 점수 33.47%를 기록하여 K-means + MGCTM(27.83%)와 CTM(31.60%)보다 높았다.
• 국지 주제와 해당 클러스터 간의 관련성 측정치에서 MGCTM는 66.2%로 K-means + MGCTM(56.6%)와 CTM(61.2%)보다 유의미하게 높았다.
• 모델은 배경 어휘(예: 'reporting', 'acknowledging')를 전역 주제로, 도메인 특화 어휘(예: 'machine learning', 'financial economics')를 국지 주제로 효과적으로 분리했다.
• 20 Newsgroups 데이터셋에서의 실험 결과, MGCTM는 기준 모델 대비 더 해석 가능하고 의미적으로 유의미한 주제를 도출했다.
• MGCTM의 통합 추론은 주제 모델링이 군집화에 사용되는 의미적 표현을 향상시켜 더 나은 군집 성능을 이끌어냈다.
• 모델은 군집화와 주제 모델링이 통합된 통합 프레임워크 내에서 상호 보완적일 수 있음을 입증했다.