[논문 리뷰] Author Clustering and Topic Estimation for Short Texts

Graham Tierney, Christopher A. Bail외 1명|arXiv (Cornell University)|2021. 06. 15.

Topic Modeling참고 문헌 39인용 수 20

한 줄 요약

이 논문은 문서 내 단어 동시 발생을 모델링하고 계층적 사전 확률을 통해 사용자 간 주제 분포를 공유함으로써 짧은 텍스트에서 저자들을 동시에 군집화하고 주제를 추정하는 새로운 베이지안 주제 모델을 제안한다. 이 모델은 기존 방법보다 주제 일관성과 군집 복원도에서 뛰어나며, 특히 2020년 패닉 기간 동안 미국 sena의 트윗에서 파벌주의 이데올로기의 존재를 탐지하는 데서 두각을 나타낸다.

ABSTRACT

Analysis of short text, such as social media posts, is extremely difficult because of their inherent brevity. In addition to classifying topics of such posts, a common downstream task is grouping the authors of these documents for subsequent analyses. We propose a novel model that expands on the Latent Dirichlet Allocation by modeling strong dependence among the words in the same document, with user-level topic distributions. We also simultaneously cluster users, removing the need for post-hoc cluster estimation and improving topic estimation by shrinking noisy user-level topic distributions towards typical values. Our method performs as well as -- or better -- than traditional approaches, and we demonstrate its usefulness on a dataset of tweets from United States Senators, recovering both meaningful topics and clusters that reflect partisan ideology. We also develop a novel measure of echo chambers among these politicians by characterizing insularity of topics discussed by groups of Senators and provide uncertainty quantification.

연구 동기 및 목표

• 단어 동시 발생 빈도가 낮고 전통적인 LDA가 실패하는 사회적 미디어 게시물과 같은 극히 짧은 텍스트에서 주제 모델링의 과제를 해결한다.
• 후처리 군집화에 의존하지 않고 동시에 저자 군집화와 주제 추정을 수행함으로써, 노이즈가 많은 사용자 수준의 분포를 수축시켜 주제 추정의 정확도를 향상시킨다.
• 사용자 수준의 주제 분포를 계층적 사전 확률로 모델링하여 저자 간 유사성을 포착함으로써, 데이터가 적은 환경에서도 안정성을 높인다.
• 사용자 군집 간 주제의 고립도를 측정하여 에코 챔버 효과를 정량화하는 새로운 측정법을 개발함으로써, 이데올로기적 분리 현상을 반영한다.
• 실제 데이터셋인 코로나19 초기 기간 동안 미국 상원의원들이 올린 트윗 61,241건을 대상으로 본 연구 방법의 효과성을 입증한다. 이는 군집이 알려진 이데올로기적 분열과 연결된다.

제안 방법

• 각 짧은 텍스트에 대해 문서 수준의 주제 배정을 도입함으로써, 동일 문서 내 단어 간 강한 의존성을 허용함으로써 LDA를 확장한다.
• 사용자 수준의 주제 분포에 계층적 사전 확률을 도입함으로써, 데이터가 희박한 상황에서 사용자 간 정보 공유를 가능하게 하여 추정의 안정성을 높인다.
• 대규모 소셜 미디어 코퍼스(예: 미국 상원의원의 61,241건 트윗 데이터셋)에 적용 가능한 변분 베이지안 추론 절차를 사용한다.
• 사용자-주제 분포에 딜레트리 프로세스 혼합 사전 확률을 적용하여 군집 수를 자동으로 탐지할 수 있도록 한다.
• 주제 추정과 군집 추정에 모두 불확실성 측정을 통합함으로써, 후속 추론의 신뢰성을 향상시킨다.
• 군집 내에서 모든 주제를 언급하기 위해 필요한 트윗 수를 기반으로 한 새로운 에코 챔버 효과 측정법을 개발한다. 이는 주제의 고립도를 측정한다.

실험 결과

연구 질문

• RQ1 두 단계 접근 방식보다 통합된 모델이 짧은 텍스트에서 주제 추정과 저자 군집화를 더 효과적으로 수행할 수 있는가?
• RQ2 문서 내 단어 동시 발생을 모델링함으로써 희박한 짧은 텍스트 데이터에서 주제 일관성이 어떻게 향상되는가?
• RQ3 계층적 사전 확률을 사용해 사용자 수준의 주제 분포를 군집화할 경우, 실제 세계의 이데올로기적 그룹화를 어느 정도 반영할 수 있는가?
• RQ4 이 모델은 정치적 논의에서 소셜 미디어 상의 이데올로기적 분리(에코 챔버)를 탐지하고 정량화할 수 있는가?
• RQ5 다양한 데이터 조건 하에서 최신 기술 대비 주제 일관성과 군집 복원도 성능을 비교했을 때, 이 모델의 성능은 어떠한가?

주요 결과

• 모의 데이터에서 제안된 모델은 stLDA-C와 기준 방법보다 더 높은 주제 일관성을 달성했으며, 오히려 진짜 주제 분포를 약간 초월하는 성능을 보였다.
• 군집 복원 모의 실험에서, 이 모델은 명확한 군집을 정확히 식별하고, 오직 한 주제만 다를 경우에만 군집을 융합하는 등, TPR과 FPR 모두에서 stLDA-C 및 다른 방법보다 뛰어난 성능을 보였다.
• 미국 상원의원 트윗 데이터셋에서, 이 모델은 상원의원들을 이데올로기적으로 일관된 군집으로 성공적으로 군집화했다. 중간 보수당과 진보 민주당이 별개의 군집을 이뤘다.
• 모델은 진보 민주당과 국가 중심의 보수당이 더 넓은 주제 커버리지 범위를 가졌지만, 개인의 민주당 의원들이 보수당 의원들보다 주제를 더 빠르게 다루는 것으로 나타났다.
• 새로운 에코 챔버 측정법은 개인의 민주당 의원들이 보수당 의원들보다 더 빠르게 다양한 주제를 다루며, 이는 보수당 내에서 주제의 고립도가 더 높다는 것을 시사한다.
• 모델의 군집화 결과는 상원의원 이데올로기 이론적 측정치(예: Poole와 Rosenthal, 2017)와 강하게 일치하여, 실제 정치적 맥락에서의 타당성을 입증한다.