[논문 리뷰] Sub-Story Detection in Twitter with Hierarchical Dirichlet Processes

P. K. Srijith, Mark Hepple외 2명|arXiv (Cornell University)|2016. 06. 11.

Complex Network Analysis Techniques참고 문헌 31인용 수 4

한 줄 요약

이 논문은 실제 사건 내에서 복잡한 하위 주제를 자동으로 탐지하기 위해 계층적 디리ش레트 과정(HDP) 모델을 제안한다. 이는 확률적 토픽 모델링을 활용하여 공유된 현실 세계의 사건 내에서 미세한 하위 주제를 식별한다. HDP는 국소성에 민감한 해싱(LSH)과 스펙트럴 클러스터링보다 하위 스토리 탐지에서 정밀도와 재현율의 균형을 더 잘 유지하며, 특히 대화적 구조를 통합함으로써 어휘 겹침이 적은 응답에 대해서도 클러스터링 품질을 향상시킨다.

ABSTRACT

Social media has now become the de facto information source on real world events. The challenge, however, due to the high volume and velocity nature of social media streams, is in how to follow all posts pertaining to a given event over time, a task referred to as story detection. Moreover, there are often several different stories pertaining to a given event, which we refer to as sub-stories and the corresponding task of their automatic detection as sub-story detection. This paper proposes hierarchical Dirichlet processes (HDP), a probabilistic topic model, as an effective method for automatic sub-story detection. HDP can learn sub-topics associated with sub-stories which enables it to handle subtle variations in sub-stories. It is compared with state- of-the-art story detection approaches based on locality sensitive hashing and spectral clustering. We demonstrate the superior performance of HDP for sub-story detection on real world Twitter data sets using various evaluation measures. The ability of HDP to learn sub-topics helps it to recall the sub- stories with high precision. Another contribution of this paper is in demonstrating that the conversational structures within the Twitter stream can be used to improve sub-story detection performance significantly.

연구 동기 및 목표

• 표준 스토리 탐지 방법이 어휘 겹침과 낮은 트윗 속도로 인해 한 개의 실제 사건 내에서 다중으로 겹치는 하위 스토리를 포착하지 못하는 문제를 해결하기 위해.
• 특히 원본 트윗과 어휘 겹침이 적은 응답에 대해서도 대화적 구조(예: 응답 스레드)를 클러스터링 과정에 통합하여 하위 스토리 탐지 성능을 향상시키기 위해.
• 조정된 상호정보량(AMI)을 사용하여 클러스터링 성능을 평가함으로써, 우연한 일치를 보정하고 과도한 클러스터링을 방지하는 등 표준 정밀도-재현율보다 더 신뢰할 수 있는 메트릭을 제공하기 위해.
• 기존 최첨단 방법들과 비교해 HDP가 계층적 하위 주제를 학습할 수 있는 능력 덕분에 더 정확하고 해석 가능한 하위 스토리 탐지가 가능하다는 것을 입증하기 위해.

제안 방법

• 비모수적 베이지안 토픽 모델인 계층적 디리슈레트 과정(HDP)을 사용하여 공통된 주제 내에서 하위 주제를 탐색함으로써, 데이터 기반의 탄력적인 하위 스토리 클러스터링을 가능하게 한다.
• 트윗 스트림을 문서로 간주하고 HDP를 활용해 잠재적 토픽 분포를 추론함으로써, 모델의 계층적 구조에서 자연스럽게 하위 주제가 도출되도록 한다.
• 응답 트윗을 그가 응답하는 트윗과 동일한 클러스터에 할당하는 방식으로 대화적 구조를 통합함으로써, 언어적 차이가 있는 경우에도 하위 스토리 탐지 성능을 향상시킨다.
• 클러스터 수와 우연한 일치의 영향을 줄이기 위해 조정된 상호정보량(AMI) 기반 평가 메트릭을 사용하여 클러스터링 품질을 평가한다.
• 다양한 실제 트위터 데이터셋(페어거슨, 런던 폭동, 오타와 총격 사건 등)을 사용해 HDP를 국소성에 민감한 해싱(LSH)과 스펙트럴 클러스터링(SC)과 비교한다.
• 하위 스토리가 주어진 공개 트위터 데이터셋 5개(스토리 탐지에 사용되는 데이터 포함)에 모델를 적용하여 다양한 사건 유형에 걸쳐 신뢰할 수 있는 평가를 확보한다.

실험 결과

연구 질문

• RQ1 어휘 겹침이 많고 시간적으로 겹치는 하위 스토리가 존재하는 트위터 스트림에서 HDP와 같은 계층적 토픽 모델이 효과적으로 하위 스토리를 탐지할 수 있는가?
• RQ2 응답 스레드 등 대화적 구조를 통합함으로써, 원본 트윗과 어휘 겹침이 적은 응답에 대해서도 하위 스토리 탐지 성능이 향상되는가?
• RQ3 조정된 상호정보량(AMI)을 메트릭으로 사용할 때, HDP가 LSH 및 스펙트럴 클러스터링보다 하위 스토리 탐지 작업에서 더 나은 클러스터링 품질을 달성하는가?
• RQ4 HDP가 하위 주제를 학습할 수 있는 능력이 얼마나 해석 가능성 향상과 별도의 요약 단계 감소에 기여하는가?

주요 결과

• HDP는 모든 테스트 데이터셋에서 최고의 F-스코어를 기록하여, LSH 및 스펙트럴 클러스터링 대비 정밀도와 재현율의 균형 잡힌 뛰어난 성능을 보였다.
• HDP는 조정된 상호정보량(AMI) 점수에서 LSH 및 SC를 뚜렷이 앞서며, 우연한 일치와 클러스터 수를 고려한 고급 클러스터링 품질을 입증했다.
• 대화적 구조의 통합은 특히 원본 트윗과 어휘 겹침이 적은 응답에 대해서도 하위 스토리 탐지 성능을 향상시켰다.
• HDP는 페어거슨 폭동과 런던 폭동처럼 저속도이지만 어휘 겹침이 많은 상황에서도 높은 정밀도와 재현율로 하위 스토리를 탐지했다.
• 평균적으로 런던 폭동 데이터셋은 2시간, 페어거슨은 196초, 오타와는 55초가 소요되어 복잡성에도 불구하고 수용 가능한 런타임을 보였다.
• HDP가 해석 가능한 하위 주제(예: '경찰이 브라운를 사격했다' 대비 '영상 증거')를 학습할 수 있어 추가 요약 단계 없이도 인간이 이해할 수 있도록 한다.