[논문 리뷰] Scalable Dynamic Topic Modeling with Clustered Latent Dirichlet Allocation (CLDA)

Chris Gropp, Alexander Herzog외 3명|arXiv (Cornell University)|2016. 10. 25.

Topic Modeling참고 문헌 36인용 수 8

한 줄 요약

이 논문은 시간적 또는 기타 기준에 따라 텍스트 데이터를 분할하고, 각 분할에 대해 독립적으로 LDA를 적용한 후 局부 주제를 글로벌 주제로 군집화하는 가시적이고 병렬 처리 가능한 주제 모델링 방법인 클러스터링된 은닉 딜레아이트 분포(클러스터드 라티언트 딜레아이트 할라이션, CLDA)를 제안한다. CLDA는 데모닉 토픽 모델링(DTM) 대비 두 배수의 빠른 런타임 성능을 달성하면서도 유사한 퍼플렉서티 수준을 유지하며, 주제의 출현, 소멸, 분열 등 동적 주제 진화를 지원한다.

ABSTRACT

Topic modeling, a method for extracting the underlying themes from a collection of documents, is an increasingly important component of the design of intelligent systems enabling the sense-making of highly dynamic and diverse streams of text data. Traditional methods such as Dynamic Topic Modeling (DTM) do not lend themselves well to direct parallelization because of dependencies from one time step to another. In this paper, we introduce and empirically analyze Clustered Latent Dirichlet Allocation (CLDA), a method for extracting dynamic latent topics from a collection of documents. Our approach is based on data decomposition in which the data is partitioned into segments, followed by topic modeling on the individual segments. The resulting local models are then combined into a global solution using clustering. The decomposition and resulting parallelization leads to very fast runtime even on very large datasets. Our approach furthermore provides insight into how the composition of topics changes over time and can also be applied using other data partitioning strategies over any discrete features of the data, such as geographic features or classes of users. In this paper CLDA is applied successfully to seventeen years of NIPS conference papers (2,484 documents and 3,280,697 words), seventeen years of computer science journal abstracts (533,560 documents and 32,551,540 words), and to forty years of the PubMed corpus (4,025,978 documents and 273,853,980 words).

연구 동기 및 목표

• 순차적 종속성과 병렬 처리 성능이 열악한 동적 주제 모델링(DTM)의 확장성 한계를 해결한다.
• 시간 또는 기타 이산적 데이터 분할 기준에 따라 주제 모델링을 분리함으로써 대규모 동적 텍스트 코퍼스(예: 과학 논문)의 효율적 분석을 가능하게 한다.
• 글로벌 주제 추세와 로컬 주제 변동을 모두 제공하여 DTM보다 더 민첩하게 주제 진화, 출현, 분열을 포착한다.
• 데이터 분해 및 군집화를 통한 주제 모델링의 효과적 병렬화를 입증함으로써 빅데이터 환경에서 고성능을 달성한다.
• 시간 기반 분할을 초월해 저널, 지리적 지역, 사용자 유형 등 다양한 특징을 포함한 주제 모델링을 확장한다.

제안 방법

• 시간, 저널 또는 기타 이산적 특징(예: 지리적 위치 또는 데이터 소스) 기반으로 입력 코퍼스를 상호 배타적인 세그먼트로 분할한다.
• 각 세그먼트에 대해 고도로 병렬 처리 가능한 LDA 변종(PLDA+)을 독립적으로 적용하여 로컬 주제 모델을 생성한다.
• 모든 세그먼트의 로컬 주제를 취합하여 유사한 로컬 주제를 글로벌 주제로 군집화하기 위해 병렬 k-means 군집화를 적용한다.
• 각 글로벌 주제를 클러스터의 중심점으로 표현함으로써 세그먼트 간 주제의 일관성을 유지한다.
• 결과로 도출된 글로벌 주제를 활용해 주제 비율, 진화, 구조적 변화(예: 분열 또는 융합)를 시간 또는 특징 간에 추적한다.
• 기존의 병렬 PLDA+ 및 k-means 구현을 활용하여 대규모 데이터셋에서의 높은 확장성과 성능을 확보한다.

실험 결과

연구 질문

• RQ1 동적 주제 진화와 글로벌 일관성을 유지하면서 주제 모델링을 효과적으로 병렬화할 수 있는가?
• RQ2 CLDA의 성능 및 주제 품질은 런타임, 퍼플렉서티, 주제 유사도 측면에서 DTM 및 LDA와 비교해 어떻게 되는가?
• RQ3 DTM가 민첩하게 모델링하지 못하는 주제 역학적 특성(예: 출현, 소멸, 분열)을 CLDA는 어느 정도 잘 포착할 수 있는가?
• RQ4 동일한 코퍼스에 대해 시간 기반과 저널 기반 등 다양한 분할 전략을 적용할 수 있는가? 이를 통해 주제 진화의 다양한 차원을 드러낼 수 있는가?
• RQ5 다양한 파라미터 설정 또는 군집 구성에 따라 CLDA가 생성하는 글로벌 주제의 안정성은 어느 정도인가?

주요 결과

• CLDA는 PubMed 코퍼스(400만 건 이상의 문서 포함)를 포함한 대규모 코퍼스에서 원래 DTM 구현 대비 두 배수의 빠른 런타임 성능을 달성한다.
• CLDA는 DTM 및 PLDA와 유사한 퍼플렉서티 수준을 유지함으로써 강력한 생성 모델 품질을 입증한다.
• CLDA가 생성한 주제들은 DTM 및 LDA의 주제와 의미적으로 유사한 내용을 포함하고 있어 모델의 타당성을 확인한다.
• DTM보다 더 풍부한 주제 역학 모델링이 가능함을 입증한다. 특히 각 세그먼트에서 글로벌 주제가 0개, 1개 또는 다수의 로컬 주제 대표자를 가질 수 있어 주제의 출현 및 분열을 효과적으로 포착한다.
• CLDA는 시간 기반과 저널 기반 분할 모두에서 주제 진화를 성공적으로 모델링하여, '컴퓨터 네트워크'와 같은 넓은 주제 내에서 서로 다른 하위 분야를 드러낸다.
• 시간 외의 다양한 데이터 분할 전략(저널, 위치, 사용자 유형 등)에 적용 가능하여 확장성과 유연성을 입증한다.