[논문 리뷰] Spotting Rumors via Novelty Detection

Yumeng Qin, Dominik Wurzer외 2명|arXiv (Cornell University)|2016. 11. 19.

Misinformation and Its Impacts참고 문헌 4인용 수 27

한 줄 요약

이 논문은 신뢰할 수 있는 뉴스 자료와 비교하여 확인되지 않은 정보를 식별하고, 이전에 감지된 루머와의 유사성을 활용함으로써 실시간 루머 탐지가 가능하도록 신규성 기반 특징과 가짜 피드백을 도입한다. 이 방법은 기존 실시간 방법보다 훨씬 높은 초기 탐지 성능를 달성하며, 트위터 및 신장웨이보와 같은 고속 스트림 환경에서 실시간 처리에 적합한 일정 시간 복잡도를 갖는다.

ABSTRACT

Rumour detection is hard because the most accurate systems operate retrospectively, only recognizing rumours once they have collected repeated signals. By then the rumours might have already spread and caused harm. We introduce a new category of features based on novelty, tailored to detect rumours early on. To compensate for the absence of repeated signals, we make use of news wire as an additional data source. Unconfirmed (novel) information with respect to the news articles is considered as an indication of rumours. Additionally we introduce pseudo feedback, which assumes that documents that are similar to previous rumours, are more likely to also be a rumour. Comparison with other real-time approaches shows that novelty based features in conjunction with pseudo feedback perform significantly better, when detecting rumours instantly after their publication.

연구 동기 및 목표

• 광범위하게 퍼지기 전에 피해를 방지하기 위해 소셜 미디어에서 초기 루머 탐지의 필수적인 필요성을 해결한다.
• 재발신호에 의존하는 후행적 탐지 시스템의 한계를 극복하여, 이미 퍼진 후에야 루머를 탐지하는 문제를 해결한다.
• 미래의 정보 없이도 메시지가 발표되는 즉시 작동하는 확장 가능한 실시간 솔루션을 개발한다.
• 신뢰할 수 있는 뉴스를 기준으로 하여 확인되지 않은(잠재적으로 루머일 수 있는) 콘텐츠를 식별하기 위해 신규성 기반 특징을 도입한다.
• 과거 루머와의 유사성을 활용하는 가짜 피드백을 통해, 확산 신호를 기다리지 않고도 초기 탐지가 가능하도록 한다.

제안 방법

• 소셜 미디어 게시물의 신규성 점수를 의미적 유사성 기반으로 신문 기사 웜을 신뢰할 수 있는 기준 자료로 사용하여 계산한다.
• 뉴스 서브문서를 k-어휘 해싱으로 표현하고, 웨이보 게시물과 뉴스 스니펫 간의 벡터 유사성으로 신규성 점수를 계산한다.
• 새로운 게시물과 이전에 감지된 루머 중 가장 가까운 것 사이의 코사인 유사도를 측정하여 가짜 피드백을 구현한다.
• 표준 범주형 특징(예: 구두점, 감성, URL, 길이, 소셜 미디어 마커 등)과 함께 신규성 및 가짜 피드백 특징을 조합한다.
• 모든 특징을 일정 시간 및 공간 복잡도로 계산할 수 있는 스트리밍 아키텍처를 설계하여 대규모 실시간 처리를 가능하게 한다.
• 뉴스 서브문서에 tf-idf 가중치를 적용하고 k-어휘 해싱을 사용하여 신규성 특징의 성능을 최적화하면서도 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 신뢰할 수 있는 뉴스 자료와 비교하여 확인되지 않은 정보가 초기 루머 탐지에 신뢰할 수 있는 신호가 될 수 있는가?
• RQ2 확산 데이터 없이도 과거에 감지된 루머와의 유사성이 실시간 탐지 성능을 향상시킬 수 있는가?
• RQ3 신규성 기반 특징과 가짜 피드백이 기존 실시간 기준 대비 게시 직후 즉각적인 루머 탐지에 얼마나 효과적인가?
• RQ4 제안된 특징들이 고속 소셜 미디어 스트림에서 실시간 처리를 지속하기에 충분히 효율적으로 계산될 수 있는가?
• RQ5 신규성 및 가짜 피드백 특징은 확산 기반 방법 대비 탐지 지연 시간을 얼마나 줄이는가?

주요 결과

• 신규성 기반 특징은 신뢰할 수 있는 뉴스 자료에 존재하지 않는 확인되지 않은 정보를 식별함으로써 초기 루머 탐지 성능을 크게 향상시킨다.
• 가짜 피드백은 탐지 성능을 5.3% (상대적) 향상시켜 과거 루머와의 유사성이 초기 탐지 정확도를 높인다는 것을 입증한다.
• 신규성 및 가짜 피드백 특징의 조합은 즉각적인 탐지에서 모든 실시간 및 초기 탐지 기준 대비 최고의 성능을 기록한다.
• 단일 코어에서 시스템은 초당 약 7,000개의 웨이보를 처리할 수 있으며, 평균 트위터 스트림(초당 5,700개 트윗)과 신장웨이보 스트림(초당 1,200개 웨이보)의 속도를 초월한다.
• tf-idf 가중치가 부여된 상위 어휘를 사용할 경우, k-어휘 해싱으로 인한 성능 손실가 1% 이내로 유지되어 뛰어난 강건성과 효율성을 보여준다.
• 이 방법은 확산 신호에 의존하지 않기 때문에 대부분의 이전 방법과 달리, 퍼지지 않은 저가시성 루머도 탐지할 수 있다.