[논문 리뷰] Towards Detecting Rumours in Social Media

Arkaitz Zubiaga, Maria Liakata외 3명|arXiv (Cornell University)|2015. 04. 18.

Advanced Text Analysis Techniques참고 문헌 12인용 수 70

한 줄 요약

이 논문은 돌발 사건 기간 동안 수동으로 수집하고 애너테이션한 대화 스레드를 바탕으로 소셜 미디어에서 루머를 탐지하는 새로운 방법론을 제시한다. 뉴스 가치 있는 주장 중 검증되지 않은 사항을 식별하기 위해 시계열 기반 접근법을 사용한다. 2014년 페어거슨 봉합에 적용한 결과, 샘플링한 1,185개 트윗 중 24.6%가 루머로 분류되었으며, 이는 42개의 별개된 이야기를 포함한다. 이는 키워드 기반 탐지 방식을 초월하여 다양하고 명백하지 않은 루머를 포괄적으로 포착할 수 있음을 보여준다.

ABSTRACT

The spread of false rumours during emergencies can jeopardise the well-being of citizens as they are monitoring the stream of news from social media to stay abreast of the latest updates. In this paper, we describe the methodology we have developed within the PHEME project for the collection and sampling of conversational threads, as well as the tool we have developed to facilitate the annotation of these threads so as to identify rumourous ones. We describe the annotation task conducted on threads collected during the 2014 Ferguson unrest and we present and analyse our findings. Our results show that we can collect effectively social media rumours and identify multiple rumours associated with a range of stories that would have been hard to identify by relying on existing techniques that need manual input of rumour-specific keywords.

연구 동기 및 목표

• 돌발 사건 기간 동안 소셜 미디어에서 루머를 체계적이고 시계열 기반으로 식별하는 방법을 개발하여 사전 정의된 키워드에 의존하지 않도록 한다.
• 기계 학습을 통한 자동 루머 탐지 지원을 위해 루머성 및 비루머성 대화 스레드를 포함한 풍부한 애너테이션 데이터셋을 구축한다.
• 논의 량과 진화 양상의 비교를 통해 루머 확산의 특성에 대해 이해한다.
• 사용자들이 루머를 지지하거나 반박하는 방식으로 스스로 수정하는 메커니즘의 효과를 분석함으로써 트위터의 자가정규화 기능의 효력을 평가한다.
• 실시간으로 오해의 소지를 가진 정보를 조기에 탐지함으로써 비상 대응 및 공공 안전을 지원한다.

제안 방법

• 저자들은 2014년 페어거슨 봉합 기간 동안 대화를 유발한 트윗을 중심으로 시계열 순서에 따라 샘플링하여 원천 트윗을 수집하였다.
• 각 원천 트윗과 연결된 전체 대화 스레드(답글 및 상호작용)를 수집하여 논의의 역동성을 포착하였다.
• 스레드를 루머성 또는 비루머성으로 분류하기 위해 인간 애너테이션을 지원하는 맞춤형 애너테이션 도구를 개발하였다.
• 루머 정의는 검증되지 않은, 실용적으로 관련성이 있는, 새로운, 맥락적으로 모호한 정보를 강조하며, 이는 사람들의 위험 관리에 도움이 된다.
• 애너테이터들은 루머 기준을 충족하는 이야기를 식별하기 위해 시계열을 읽어보며, 알려지지 않은 또는 비바이럴 루머도 발견할 수 있도록 하였다.
• 이 방법은 널리 논의된 사례뿐 아니라 흐린 사례까지 포함하여 키워드 기반 접근법을 초월한 풍부한 데이터셋을 구축할 수 있도록 하였다.

실험 결과

연구 질문

• RQ1 돌발 상황 기간 동안 실시간 소셜 미디어 스트림에서 키워드 기반 접근법에 의존하지 않는 체계적인 방법으로 루머를 식별할 수 있는가?
• RQ2 2014년 페어거슨 봉합과 같은 주요 소셜 미디어 사건에서 루머의 비율과 다양성은 어떠한가?
• RQ3 루머성 스레드와 비루머성 스레드의 논의 량(예: 답글 수) 측면에서 상호작용 량에서의 차이는 어떠한가?
• RQ4 대화 스레드에서 사용자들이 루머를 지지하거나 반박함으로써 스스로 수정하는 증거가 어느 정도 나타나는가?
• RQ5 다양한 루머와 비루머를 포함한 수동 애너테이션 데이터셋을 기계 학습 모델 훈련에 활용할 수 있는가?

주요 결과

• 2014년 페어거슨 봉합에서 샘플링한 1,185개 트윗 중 24.6%가 루머로 분류되었으며, 이는 총 291개의 루머 트윗에 해당한다.
• 이 루머 트윗들은 마이클 브라운 사망 사건과 같은 주요 사건부터, 국방부가 군사용 무기급 무기를 공급했다는 등 알려지지 않은 주장까지 42개의 별개된 이야기로 분포되어 있다.
• 루머 트윗은 비루머 트윗보다 약간 더 많은 답글을 평균적으로 생성하였으며, 중앙값으로도 더 높은 답글 수를 기록하였다. 다만 비루머 트윗 역시 상당한 논의 량을 기록하였다.
• 시계열 기반 애너테이션 방법은 검증되지 않은 정보를 포함한 다양한 이야기를 성공적으로 파악하였으며, 이는 키워드 기반 접근법이 놓칠 수 있는 저도달 루머까지 포괄하였다.
• 이 데이터셋은 루머성 및 비루머성 스레드를 모두 포함하고 있어, 향후 자동 루머 탐지용 기계 학습 모델 훈련에 기여할 수 있다.
• 본 연구는 실시간 사건에서 검증되지 않은 주장의 전반적인 스펙트럼을 포착하기 위해 수동적이고 맥락 인식 기반의 대화 스레드 애너테이션 방식이 효과적임을 입증한다.