[논문 리뷰] Topic Modelling and Event Identification from Twitter Textual Data

Marina Sokolova, Kanyi Huang외 7명|arXiv (Cornell University)|2016. 08. 08.

Advanced Text Analysis Techniques참고 문헌 2인용 수 13

한 줄 요약

이 논문은 케냐의 주요 사회적 사건과 관련된 트위터 데이터로부터 토론 주제를 추출하고 요약하기 위해 잠재(dirichlet) 분포 할당(LDA)을 사용하는 토픽 모델링 접근법을 제안한다. 모델 평가를 위해 NMI와 토픽 일관성(topic coherence)을 적용한 결과, LDA는 일관되고 해석 가능한 토픽을 효과적으로 식별함을 보여주며, 대규모 동적 소셜미디어 콘텐츠의 수동 분석을 효율적으로 지원한다.

ABSTRACT

The tremendous growth of social media content on the Internet has inspired the development of the text analytics to understand and solve real-life problems. Leveraging statistical topic modelling helps researchers and practitioners in better comprehension of textual content as well as provides useful information for further analysis. Statistical topic modelling becomes especially important when we work with large volumes of dynamic text, e.g., Facebook or Twitter datasets. In this study, we summarize the message content of four data sets of Twitter messages relating to challenging social events in Kenya. We use Latent Dirichlet Allocation (LDA) topic modelling to analyze the content. Our study uses two evaluation measures, Normalized Mutual Information (NMI) and topic coherence analysis, to select the best LDA models. The obtained LDA results show that the tool can be effectively used to extract discussion topics and summarize them for further manual analysis

연구 동기 및 목표

• 케냐의 주요 사회적 사건과 관련된 대규모 동적 트위터 텍스트를 분석하기 위해.
• 통계적 토픽 모델링을 통해 비정형 소셜미디어 콘텐츠에서 의미 있고 해석 가능한 토픽을 추출하기 위해.
• NMI와 토픽 일관성 지표를 사용하여 최적의 LDA 모델을 평가하고 선택하기 위해.
• 복잡한 트위터 데이터셋을 일관된 주제 군집으로 요약하여 수동 분석을 지원하기 위해.

제안 방법

• 주요 사회적 사건을 다루는 네 개의 트위터 데이터셋에 대해 잠재(dirichlet) 분포 할당(LDA)을 적용한다.
• 기준값 주제 레이블과의 비교를 통해 모델 성능을 평가하기 위해 정규화된 상호정보량(NMI)을 사용한다.
• 추출된 토픽의 해석 가능성과 품질을 평가하기 위해 토픽 일관성 분석을 활용한다.
• NMI와 일관성 점수의 병합 기반으로 최고 성능을 내는 LDA 모델을 선정한다.
• 토큰화, 정지어 제거, 어간 추출 등의 표준 전처리 절차를 거쳐 원시 트위터 텍스트를 처리한다.
• 주제의 해석 가능성과 안정성에 대한 정성적·정량적 평가를 통해 모델의 효과성을 검증한다.

실험 결과

연구 질문

• RQ1 LDA는 실세계 사회적 사건과 관련된 대규모 동적 트위터 데이터셋에서 토론 주제를 효과적으로 식별하고 요약할 수 있는가?
• RQ2 NMI와 토픽 일관성 지표는 소셜미디어 텍스트에 대한 최적의 LDA 모델 선택에서 어떻게 비교 가능한가?
• RQ3 추출된 토픽이 케냐의 사건과 관련하여 의미 있고 해석 가능한 주제를 얼마나 잘 반영하는가?
• RQ4 LDA 모델의 출력 결과는 복잡한 소셜미디어 데이터의 수동 분석을 지원하는 데 사용될 수 있는가?

주요 결과

• LDA 모델은 케냐의 사회적 사건과 관련된 트위터 데이터로부터 일관되고 해석 가능한 토픽을 성공적으로 추출하였다.
• NMI와 토픽 일관성을 모두 활용한 모델 선택이 더 신뢰할 수 있고 의미 있는 토픽 출력을 이끌어냈다.
• 최고 성능을 낸 LDA 모델은 높은 NMI와 일관성 점수를 기록하여 기준값 주제와 강한 일치를 보였다.
• 주제 요약을 통해 대규모 트위터 텍스트를 주제 군집으로 압축함으로써 효과적인 수동 분석이 가능해졌다.
• 실시간, 사고 기반 소셜미디어 콘텐츠 분석에 있어 이 접근법은 확장성과 유용성을 입증하였다.