[논문 리뷰] Reuters Tracer: Toward Automated News Production Using Large Scale Social Media Data

Xiaomo Liu, Armineh Nourbakhsh외 4명|arXiv (Cornell University)|2017. 11. 11.

Web Data Mining and Analysis인용 수 8

한 줄 요약

Reuters Tracer는 트위터 데이터를 사용하여 실시간으로 뉴스를 탐지하고 분류하며 배포하는 완전 자동화된 뉴스 제작 시스템으로, 매일 1,200만 건 이상의 트윗을 처리하며 종단 간 지연 시간이 40ms 이내를 기록한다. 인간 뉴스 기자보다 뉴스를 8~60분 일찍 제공하면서도 높은 정밀도, 재현율 및 진실성 추정을 유지하기 위해 머신러닝 및 규칙 기반 알고리즘의 세트를 활용한다.

ABSTRACT

To deal with the sheer volume of information and gain competitive advantage, the news industry has started to explore and invest in news automation. In this paper, we present Reuters Tracer, a system that automates end-to-end news production using Twitter data. It is capable of detecting, classifying, annotating, and disseminating news in real time for Reuters journalists without manual intervention. In contrast to other similar systems, Tracer is topic and domain agnostic. It has a bottom-up approach to news detection, and does not rely on a predefined set of sources or subjects. Instead, it identifies emerging conversations from 12+ million tweets per day and selects those that are news-like. Then, it contextualizes each story by adding a summary and a topic to it, estimating its newsworthiness, veracity, novelty, and scope, and geotags it. Designing algorithms to generate news that meets the standards of Reuters journalists in accuracy and timeliness is quite challenging. But Tracer is able to achieve competitive precision, recall, timeliness, and veracity on news detection and delivery. In this paper, we reveal our key algorithm designs and evaluations that helped us achieve this goal, and lessons learned along the way.

연구 동기 및 목표

• 실시간 소셜 미디어 데이터를 활용해 탐지에서 배포에 이르기까지 뉴스 제작 전 과정을 자동화하는 것.
• 정보 폭주 상황에서 대규모로 뉴스가 되는 사건을 높은 정밀도와 신속성으로 탐지하는 과제를 해결하는 것.
• 전문적인 정확성과 신뢰성 기준을 유지하면서도 수동 뉴스 기자 간섭을 줄이는 것.
• 소셜 미디어에서 확산되는 오해의 소문과 가짜 뉴스를 줄이기 위해 신속하게 사건의 진실성을 추정하는 것.
• 빅데이터와 머신러닝을 활용해 뉴스 기관이 속도와 범위 면에서 경쟁력을 확보할 수 있도록 하는 것.

제안 방법

• 13개 노드로 구성된 분산 빅데이터 인프라를 사용해 매일 1,200만 건 이상의 트윗을 처리한다.
• 사전 정의된 소스나 주제 없이도 주제와 도메인에 관계없이 새로운 대화를 탐지하는 바닥에서부터 시작하는, 주제와 도메인에 관계없는 접근 방식을 채택한다.
• 언어적, 시간적, 네트워크적 특징을 바탕으로 뉴스 유사 사건만을 유지하기 위해 반복적 필터링을 적용한다.
• 규칙 기반 및 머신러닝 모델을 조합하여 뉴스의 중요성, 진실성, 신선함, 영향 범위를 분류하고 추정한다.
• 자연어 처리 및 맥락 임bedding 기법을 사용해 지도 기반 요약문과 제목을 생성한다.
• 두 단계의 배포 시스템을 운영한다: 초기 경고를 위한 실시간 토핑 피드와 진실성 기준을 충족한 고신뢰도 보도를 위한 재난 피드.

실험 결과

연구 질문

• RQ1 완전 자동화된 시스템이 인간 기자보다 더 빠르고 정확하게 소셜 미디어에서 뉴스를 탐지할 수 있는가?
• RQ2 실시간으로 확산 중인 뉴스의 진실성을 추정하는 방법은 무엇인가? 이를 통해 가짜 뉴스의 확산을 줄일 수 있는가?
• RQ3 하나의 주제나 도메인에 종속되지 않는 바닥에서부터 시작하는 접근 방식이 다양한 도메인과 지리적 범위에서 뉴스가 되는 사건을 얼마나 잘 탐지할 수 있는가?
• RQ4 자연재해, 사고, 갈등과 같은 예측 불가능한 사건을 탐지할 때 자동화된 시스템의 성능은 어떠한가?
• RQ5 머신러닝과 규칙 기반 모델을 어떻게 조합하여 실시간 뉴스 탐지에서 높은 정밀도와 재현율을 달성할 수 있는가?

주요 결과

• Tracer는 경쟁적인 정밀도와 재현율을 기록하며, 수신 데이터의 99%를 뉴스가 되는 사건으로 압축한다.
• 시스템은 최대 5,000만 건 이상의 트윗을 처리하는 대규모 환경에서도 종단 간 지연 시간이 약 40밀리초를 기록한다.
• Las Vegas 총격 사건 및 뉴욕 테러 공격과 같은 50건 이상의 주요 뉴스 보도에서 Reuters 기자들에게 8~60분의 앞서기 시간을 제공했다.
• 진실성 추정 알고리즘이 초기 단계에서 가짜 뉴스와 소문을 60~70%의 정확도로 탐지했으며, 추가 트윗 수가 증가함에 따라 정확도가 향상되었다.
• Tracer는 전 세계 미디어가 매일 보도하는 뉴스의 약 70%를 캡처했으며(5,000만 건 이상의 트윗 처리 시 최대 95%), 다양한 주제와 지리적 범위에서 광범위한 커버리지가 가능함을 입증했다.
• 영어에 국한된 시스템임에도 불구하고, 비영어권 국가의 사건을 주요 미디어보다 빠르게 보도하는 경우가 많았는데, 이는 현장에서의 목격자들이 글로벌 가시성을 위해 영어를 사용했기 때문으로 보인다.