[논문 리뷰] Improving Reliability of Latent Dirichlet Allocation by Assessing Its Stability Using Clustering Techniques on Replicated Runs

Jonas Rieger, Lars Koppers외 2명|arXiv (Cornell University)|2020. 02. 14.

Topic Modeling참고 문헌 12인용 수 7

한 줄 요약

이 논문은 잠재 Dirichlet 분포(LDA)의 안정성을 향상시키기 위해 복수의 LDA 실행 간 유사도를 평가하는 데 수정된 Jaccard 계수와 국소적 잘라내기 기반의 계층적 군집화를 사용하는 새로운 안정성 측정법인 S-CLOP을 제안한다. 주요 기여는 모든 다른 실행과 가장 유사한 LDA 실행을 선택하는 프로토타입 선택 방법으로, 이는 특히 복잡한 문장집합에서 50개 이상의 실행을 수행할 경우 재현성과 해석 가능성에 크게 기여한다.

ABSTRACT

For organizing large text corpora topic modeling provides useful tools. A widely used method is Latent Dirichlet Allocation (LDA), a generative probabilistic model which models single texts in a collection of texts as mixtures of latent topics. The assignments of words to topics rely on initial values such that generally the outcome of LDA is not fully reproducible. In addition, the reassignment via Gibbs Sampling is based on conditional distributions, leading to different results in replicated runs on the same text data. This fact is often neglected in everyday practice. We aim to improve the reliability of LDA results. Therefore, we study the stability of LDA by comparing assignments from replicated runs. We propose to quantify the similarity of two generated topics by a modified Jaccard coefficient. Using such similarities, topics can be clustered. A new pruning algorithm for hierarchical clustering results based on the idea that two LDA runs create pairs of similar topics is proposed. This approach leads to the new measure S-CLOP ({\bf S}imilarity of multiple sets by {\bf C}lustering with {\bf LO}cal {\bf P}runing) for quantifying the stability of LDA models. We discuss some characteristics of this measure and illustrate it with an application to real data consisting of newspaper articles from extit{USA Today}. Our results show that the measure S-CLOP is useful for assessing the stability of LDA models or any other topic modeling procedure that characterize its topics by word distributions. Based on the newly proposed measure for LDA stability, we propose a method to increase the reliability and hence to improve the reproducibility of empirical findings based on topic modeling. This increase in reliability is obtained by running the LDA several times and taking as prototype the most representative run, that is the LDA run with highest average similarity to all other runs.

연구 동기 및 목표

• 랜덤 초기화와 Gibbs 샘플링으로 인해 LDA가 본질적으로 불안정해져 실행 간 결과가 재현되지 않는 문제를 해결하기 위해.
• 복수의 복제된 실행 간 LDA 주제 모델의 안정성을 평가하기 위한 정량적 측정법을 개발하기 위해.
• 복수의 실행에서 대표 프로토타입 모델을 선택하여 주제 모델링의 경험적 결과의 신뢰성과 재현성을 향상시키기 위해.
• 연구자들이 체계적 복제와 유사도 기반 모델 선택을 통해 LDA 결과에 대한 신뢰를 높일 수 있는 실용적 프레임워크를 제공하기 위해.

제안 방법

• 동일한 문장집합에 대해 동일한 초모수를 사용하여 복수의 독립적인 LDA 실행을 수행하여 복제된 주제 모델을 생성한다.
• 단어 분포 비교에 적합한 수정된 Jaccard 계수를 사용하여 실행 간 쌍별 주제 유사도를 계산한다.
• 유사도 행렬에 대해 계층적 군집화를 수행하고, 실행 간 높은 유사도를 가진 주제 쌍을 식별하는 새로운 국소적 잘라내기 알고리즘을 적용한다.
• 군집화 결과를 바탕으로 S-CLOP 측정법을 정의하여, 모델가 다른 모든 모델들과의 평균 유사도를 수치화한다.
• 모든 다른 실행들과의 평균 유사도가 가장 높은 모델을 프로토타입 모델로 선택하여 더 높은 안정성과 대표성을 확보한다.
• 실제 USA Today 신문 기사 문장집합을 대상으로 방법을 검증하여, 10~100개의 복제 실행 수에 따라 안정성의 변화를 비교한다.

실험 결과

연구 질문

• RQ1 동일한 텍스트 문장집합에서 복수의 독립적 실행 간 LDA 주제 모델의 안정성은 어떻게 변하는가?
• RQ2 유사도 기반 군집화 접근법은 복제된 LDA 실행 간 일관된 주제 구조를 효과적으로 식별할 수 있는가?
• RQ3 복제된 LDA 실행 수를 늘일수록 결과 주제 모델의 신뢰성과 안정성에 어떤 영향을 미치는가?
• RQ4 다양한 실행들 중에서 재현성과 해석 가능성 향상을 위해 대표 프로토타입 모델을 어떻게 선택할 수 있는가?
• RQ5 제안된 S-CLOP 측정법은 랜덤 선택 대비 안정적이고 신뢰할 수 있는 주제 모델을 식별하는 데 얼마나 뛰어난가?

주요 결과

• 100개의 복제된 LDA 실행에서의 최소 평균 유사도는 0.796이었고, 50개 이상의 복제를 사용할 경우 0.862로 증가하였다.
• 100개의 실행에서의 최대 평균 유사도는 0.877에 달했으며, 50개 이상의 복제를 사용할 경우 0.895로 상승하여 더 많은 실행 수가 안정성 향상에 기여함을 시사했다.
• 10개의 복제 실행에서 프로토타입 모델을 선택함으로써 최소 및 최대 평균 유사도가 각각 0.842와 0.880로 향상되었으며, 이는 제한된 계산 자원 조건에서도 상당한 향상이 있음을 보여준다.
• 랜덤으로 선택된 모델, 예를 들어 평균 유사도가 0.807인 Run4는 상대적으로 훨씬 불안정할 수 있으며, 이는 복제 없이 결과를 판단할 경우 오해의 위험이 있음을 시사한다.
• S-CLOP를 통해 선택된 프로토타입 모델은 다른 모든 실행들과의 평균 유사도에서 개별 실행보다 항상 뛰어나며, 프로토타입 세트에서 Run1은 0.902의 유사도를 기록했다.
• 계층수열도 분석을 통해 랜덤 선택은 잘 해석되지 않는 모델을 낳을 수 있으며, S-CLOP 기반의 프로토타입 접근법은 안정적이고 강건한 주제 구조를 효과적으로 식별함을 확인했다.