[論文レビュー] Reuters Tracer: Toward Automated News Production Using Large Scale Social Media Data

Xiaomo Liu, Armineh Nourbakhsh+4 more|arXiv (Cornell University)|Nov 11, 2017

Web Data Mining and Analysis被引用数 8

ひとこと要約

Reuters Tracer は、Twitter データを用いて、リアルタイムで発生するニュースを検出・分類・配信する完全自動化されたニュース生産システムであり、1日1200万件以上のツイートを処理し、エンドツーエンドの遅延が40ミリ秒未塔を達成している。これは人間のジャーナリストよりも速く、8〜60分の早さで報道可能であり、機械学習およびルールベースのアルゴリズムのセットにより、高い正確性、再現率、真偽の推定を維持している。

ABSTRACT

To deal with the sheer volume of information and gain competitive advantage, the news industry has started to explore and invest in news automation. In this paper, we present Reuters Tracer, a system that automates end-to-end news production using Twitter data. It is capable of detecting, classifying, annotating, and disseminating news in real time for Reuters journalists without manual intervention. In contrast to other similar systems, Tracer is topic and domain agnostic. It has a bottom-up approach to news detection, and does not rely on a predefined set of sources or subjects. Instead, it identifies emerging conversations from 12+ million tweets per day and selects those that are news-like. Then, it contextualizes each story by adding a summary and a topic to it, estimating its newsworthiness, veracity, novelty, and scope, and geotags it. Designing algorithms to generate news that meets the standards of Reuters journalists in accuracy and timeliness is quite challenging. But Tracer is able to achieve competitive precision, recall, timeliness, and veracity on news detection and delivery. In this paper, we reveal our key algorithm designs and evaluations that helped us achieve this goal, and lessons learned along the way.

研究の動機と目的

• リアルタイムのソーシャルメディアデータを用いて、検出から配信までを含む完全なニュース生産プロセスを自動化すること。
• 情報過多の状況においても、スケールに応じて高い正確性と迅速性で報道価値のある出来事の検出に挑むこと。
• 専門的な正確性と信頼性の基準を維持しつつ、ジャーナリストによる手動介入に依存するのを減らすこと。
• 発展中の出来事の真偽を推定することで、ソーシャルメディア上の誤情報の拡散を抑えること。
• ビッグデータと機械学習を活用することで、ニュース機関がスピードとカバー範囲の面で競争優位を得られるようにすること。

提案手法

• 13ノードのクラスタを用いた分散型ビッグデータインfrastrucureにより、1日1200万件以上のツイートを処理する。
• 事前に定義されたソースや主題に依存しないボトムアップ型、トピックおよびドメインに依存しないアプローチを採用し、新たな会話の兆候を検出する。
• 言語的特徴、時間的特徴、ネットワーク特徴に基づき、反復的フィルタリングを適用してノイズを低減し、ニュースに似た出来事のみを保持する。
• ルールベースと機械学習モデルの組み合わせを用いて、ニュースの分類、報道価値、真偽、新規性、カバー範囲の推定を行う。
• 自然言語処理およびコンテキスト埋め込み技術を用いて、位置情報付きの要約と見出しを生成する。
• 2段階の配信システムを採用：早期アラート用のリアルタイムティッピングフィードと、真偽の閾値を満たした高信頼度の報道用のディザスタフィード。

実験結果

リサーチクエスチョン

• RQ1 完全自動化されたシステムは、人間のジャーナリストよりも迅速かつ正確にソーシャルメディアから報道価値のあるニュースを検出できるか？
• RQ2 誤情報の拡散を抑えるために、リアルタイムで発展中のニュースの真偽をどのように推定できるか？
• RQ3 ボトムアップ型、トピックに依存しないアプローチは、多様な分野や地理的領域にわたり報道価値のある出来事をどの程度検出できるか？
• RQ4 自然災害、事故、紛争など予期しない出来事の検出において、自動化システムの性能はいかがなものか？
• RQ5 機械学習モデルとルールベースのモデルをどのように組み合わせれば、リアルタイムのニュース検出において高い正確性と再現率を達成できるか？

主な発見

• Tracer は、競争上の正確性と再現率を達成しており、受信データの99％を報道価値のある出来事にまで圧縮している。
• 最大5000万件以上のツイート/日という規模でも、エンドツーエンドの遅延が約40ミリ秒にとどまっている。
• Las Vegas銃撃事件やNYCテロ攻撃など、50件を超える主要な報道ニュースにおいて、Reuters のジャーナリストが8〜60分の先んじた報道を可能としている。
• 真偽推定アルゴリズムは、初期段階でのフェイクニュースやウワサの検出において60〜70％の正確性を示し、ツイートの件数が増えるに従い精度が向上した。
• Tracer は、世界のメディアが1日で報じるニュースの70％を捉えており（5000万件以上のツイートでは最大95％）、トピックや地理的多様性にわたる広範なカバーを実現している。
• 英語に限定されているにもかかわらず、Tracer はしばしば主流メディアよりも非英語圏の国々の出来事について早く報じており、これは現地の目撃者が国際的な可視性を得るために英語を使用しているためと推定される。