[논문 리뷰] Learning to Discover Key Moments in Social Media Streams

Cody Buntain, Jimmy Lin외 1명|arXiv (Cornell University)|2015. 08. 03.

Complex Network Analysis Techniques참고 문헌 21인용 수 5

한 줄 요약

이 논문은 도메인 특화 키워드나 시드 용어에 의존하지 않고 토큰 빈도의 폭발을 탐지함으로써 소셜 미디어에서 핵심 순간을 감지하는 언어에 구애받지 않는 스트리밍 기계학습 방법인 LABurst를 소개한다. 이는 시간적 시계열 기반 기준보다 뛰어나며 스포츠 및 재난과 같은 다양한 분야에서 고영향 사건을 탐지하는 데서 도메인 특화 방법과 맞먹는 성능을 보이며, 발생 후 두 분 이내로 지진과 관련된 피크 빈도를 식별할 수 있다.

ABSTRACT

This paper introduces LABurst, a general technique for identifying key moments, or moments of high impact, in social media streams without the need for domain-specific information or seed keywords. We leverage machine learning to model temporal patterns around bursts in Twitter's unfiltered public sample stream and build a classifier to identify tokens experiencing these bursts. We show LABurst performs competitively with existing burst detection techniques while simultaneously providing insight into and detection of unanticipated moments. To demonstrate our approach's potential, we compare two baseline event-detection algorithms with our language-agnostic algorithm to detect key moments across three major sporting competitions: 2013 World Series, 2014 Super Bowl, and 2014 World Cup. Our results show LABurst outperforms a time series analysis baseline and is competitive with a domain-specific baseline even though we operate without any domain knowledge. We then go further by transferring LABurst's models learned in the sports domain to the task of identifying earthquakes in Japan and show our method detects large spikes in earthquake-related tokens within two minutes of the actual event.

연구 동기 및 목표

• 사전 지식이나 키워드 목록 없이도 예측 불가능한 고영향력의 핵심 순간을 소셜 미디어 스트림에서 감지할 수 있는 방법을 개발하는 것.
• 키워드 기반 및 시계열 전용 접근 방식의 한계를 해결하여 뜻밖의 또는 의미적으로 풍부한 사건을 포착하는 것.
• 실시간으로 필터링되지 않은 트위터 스트림에서 핵심 순간을 감지하고 기술할 수 있는 유연하고 언어에 구애받지 않는 시스템을 구축하는 것.
• 다양한 도메인—스포츠 및 자연재해—에서의 성능을 평가하여 이식 가능성과 강건성을 입증하는 것.
• 기자 및 구조대가 물리적 현장이 없거나 도메인 특화 설정이 없더라도 빠르게 중요한 사건을 식별하고 이해할 수 있도록 하는 것.

제안 방법

• LABurst는 트위터의 공개 샘플 스트림에서 실시간 토큰 빈도를 모니터링하는 스트리밍 알고리즘을 사용하여 시간적 패턴을 통해 폭발을 탐지한다.
• 기계학습을 적용하여 토큰 주변의 폭발적 행동을 모델링하고, 상대적 빈도 변화를 고영향력 순간의 지표로 사용한다.
• 폭발적 토큰의 총량을 집계함으로써 핵심 순간을 식별하며, 높은 총량이 더 큰 영향력을 나타낸다고 가정한다.
• 시간적 통계(예: z-점수, 폭발 지속 시간, 피크 강도 등)를 특징으로 하여 잡음과 의미 있는 폭발을 구분한다.
• 스포츠 데이터로 학습된 모델은 재학습 없이도 일본의 지진 탐지 작업에 대해 미세조정 및 이식된다.
• 이 접근 방식은 언어에 구애받지 않으며 오직 토큰 빈도 패턴에 의존하므로 다국어 및 다도메인 적용 가능성이 높다.

실험 결과

연구 질문

• RQ1 폭발 탐지 시스템이 수동으로 구성된 키워드나 도메인 특화 시드 용어에 의존하지 않고도 소셜 미디어 스트림에서 고영향력 사건을 감지할 수 있는가?
• RQ2 LABurst의 성능은 주요 스포츠 이벤트 동안 시계열 기반 및 도메인 특화 폭발 탐지 방법과 비교해 볼 때 어떻게 되는가?
• RQ3 스포츠와 같은 한 도메인에서 학습된 모델이 자연재해와 같은 다른 도메인으로 효과적으로 이식될 수 있는가?
• RQ4 LABurst는 예측이 어려운 키워드로는 식별되지 않는 복잡한 의미적 사건—예를 들어 논란이 되는 사건—을 키워드 기반 시스템보다 더 효과적으로 감지할 수 있는가?
• RQ5 LABurst는 실제 데이터에서 지진과 같은 새로운 사건이 발생한 후 얼마나 빨리 감지할 수 있는가?

주요 결과

• LABurst는 2013년 월드시리즈, 2014년 슈퍼볼, 2014년 월드컵 동안 핵심 순간을 감지하는 데서 시계열 기반 기준보다 뛰어난 성능을 보였다.
• 스포츠 용어에 대한 사전 지식이 전혀 없음에도 불구하고 도메인 특화 키워드 기반 방법과 경쟁 가능한 성능을 달성했다.
• 일본에서 실제 지진 발생 후 두 분 이내로 지진 관련 토큰의 급격한 증가를 성공적으로 감지하여 실시간 반응성을 입증했다.
• 키워드 기반 기준에서 놓친 2014년 월드컵에서 루이스 수아레스의 물기 사건과 같은 뜻밖의 순간도 탐지했다.
• 스포츠 데이터로 학습된 모델을 재난 탐지 작업에 이식할 경우 도메인 특화 방법과 비슷한 성능을 내어, 다도메인 적응 능력을 입증했다.
• 폭발적 토큰을 반환함으로써 해석 가능한 이벤트 기술을 제공하여 외부 맥락 없이도 사용자가 감지된 사건의 성격을 이해할 수 있도록 했다.