[논문 리뷰] Prior matters: simple and general methods for evaluating and improving topic quality in topic modeling

Angela Fan, Finale Doshi‐Velez외 1명|arXiv (Cornell University)|2017. 01. 12.

Topic Modeling참고 문헌 17인용 수 6

한 줄 요약

이 논문은 일반적인 정규화 정류어와 도메인 특화 정류어가 주제 분포를 지배하는 것을 억제하기 위해 정보성 사전확률을 사용하여 주제 모델 품질을 향상시키는 새로운 접근법을 제안한다. 이는 인간 평가와 강하게 상관되는 새로운 평가 지표인 리프트 스코어를 도입하여, 일관성과 PMI와 같은 기존 지표들이 정보가 부족한 고빈도 단어가 존재할 경우 저품질 주제를 탐지하지 못하는 데에 유의미한 성과를 보인다.

ABSTRACT

Latent Dirichlet Allocation (LDA) models trained without stopword removal often produce topics with high posterior probabilities on uninformative words, obscuring the underlying corpus content. Even when canonical stopwords are manually removed, uninformative words common in that corpus will still dominate the most probable words in a topic. In this work, we first show how the standard topic quality measures of coherence and pointwise mutual information act counter-intuitively in the presence of common but irrelevant words, making it difficult to even quantitatively identify situations in which topics may be dominated by stopwords. We propose an additional topic quality metric that targets the stopword problem, and show that it, unlike the standard measures, correctly correlates with human judgements of quality. We also propose a simple-to-implement strategy for generating topics that are evaluated to be of much higher quality by both human assessment and our new metric. This approach, a collection of informative priors easily introduced into most LDA-style inference methods, automatically promotes terms with domain relevance and demotes domain-specific stop words. We demonstrate this approach's effectiveness in three very different domains: Department of Labor accident reports, online health forum posts, and NIPS abstracts. Overall we find that current practices thought to solve this problem do not do so adequately, and that our proposal offers a substantial improvement for those interested in interpreting their topics as objects in their own right.

연구 동기 및 목표

• 정규화 정류어와 도메인 특화 정류어가 주제 모델 출력을 지배함으로써 해석 가능성에 악영향을 미치는 지속적인 문제를 해결하기 위해.
• 정류어가 존재할 경우 인간 평가와 상관관계가 떨어지는 표준 주제 품질 지표(일관성, PMI)의 결함을 드러내기 위해.
• 복잡한 재학습이나 맞춤형 추론을 필요로 하지 않는 간단하고 일반화 가능한 방법을 제안하여 주제 품질을 향상시키기 위해.
• 인간 평가와의 상관관계가 높고 다양한 어휘에 적용 가능한 새로운 평가 지표인 리프트 스코어를 도입하기 위해.
• 사고 보고서, 건강 포럼, NIPS 초록 등 세 가지 다양한 도메인에서 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• 주제-단어 분포에 이질적인 정보성 사전확률을 도입하여 정보가 없는 고빈도 단어를 억제하고 도메인 관련 어휘를 강조하기 위해.
• TF-IDF 점수를 사전확률로 사용하여 일반적이지만 정보가 없는 단어의 영향을 줄이고 희귀하지만 맥락적으로 관련성이 높은 어휘의 영향을 높이기 위해.
• 키워드 시딩 사전확률을 적용하여 알려진 관련 어휘(예: '자폐', '입원')에 더 높은 사전확률을 할당하여 주제 형성에 유도하기 위해.
• LDA에서 대칭 딜레르트 사전확률을 이러한 비대칭 정보성 사전확률로 대체하여 추론 알고리즘의 변경 없이 적용하기 위해.
• 기본 빈도를 보정한 점별 상호정보량을 기반으로 한 새로운 평가 지표인 리프트 스코어를 개발하여 어휘 크기와 무관하게 주제 품질을 평가하기 위해.
• 다양한 주제 품질 지표와 데이터셋에서 인간 평가 및 정량적 비교를 통해 방법을 검증하기 위해.

실험 결과

연구 질문

• RQ1 일관성과 PMI와 같은 표준 주제 품질 지표는 정규화 정류어가 지배하는 주제가 인간 평가에서 이해하기 어려운 것으로 판단되더라도 이를 탐지하지 못하는가?
• RQ2 특히 도메인 특화 정류어와 정규화 정류어가 존재할 경우, 인간 평가와의 상관관계가 더 높은 새로운 지표인 리프트 스코어는 더 나은 평가 성능을 보일 수 있는가?
• RQ3 정보성 사전확률을 사용하여 추론 절차를 수정하거나 광범위한 사전 처리를 요구하지 않고도 주제 품질을 향상시킬 수 있는가?
• RQ4 제안된 방법은 어휘와 정류어 프로파일이 다른 다양한 도메인에서 일관되게 주제의 해석 가능성 향상을 이룰 수 있는가?
• RQ5 정보성 사전확률과 리프트 스코어의 조합은 실제 응용에서 더 신뢰성 있고 재현 가능하며 해석 가능한 주제 모델링을 가능하게 하는가?

주요 결과

• 일관성과 PMI와 같은 표준 주제 품질 지표는 정규화 정류어의 확률이 높은 주제를 선호하는 경향이 있어 잘못된 평가를 유도한다.
• 리프트 스코어 지표는 인간 평가와 강하게 상관되며, 어휘 크기와 무관하게 다양한 모델에 대해 유효하게 유지된다. 이는 일관성과 PMI와는 대조된다.
• 정보성 사전확률(특히 TF-IDF 및 키워드 시딩 사전확률)을 사용하면 정규화 정류어와 도메인 특화 정류어 모두가 주요 주제 단어에 나타나는 것을 크게 줄일 수 있다.
• TF-IDF 사전확률은 주제당 상위 30개 단어에서 정규화 정류어의 수를 감소시키는 同시에 일반적이고 정보가 부족한 어휘의 영향도 줄였다.
• 제안된 방법은 인간 평가에서 더 높은 주제 품질 스코어를 기록했으며, 수동 정류어 제거 및 하이퍼파라미터 튜닝을 적용한 모든 베이스라인 모델보다 뛰어난 성능을 보였다.
• 정보성 사전확률 접근법은 노동부 보고서, 건강 포럼, NIPS 초록 등 다양한 도메인에서 뛰어난 성능을 보이며, 최소한의 파rameter 튜닝으로도 적용 가능하여 광범위하게 활용 가능하고 쉽게 구현할 수 있다.