[論文レビュー] The Early Bird Catches The Term: Combining Twitter and News Data For Event Detection and Situational Awareness

Nicholas Thapen, Donal Simmie+1 more|arXiv (Cornell University)|Apr 9, 2015

Data-Driven Disease Surveillance参考文献 20被引用数 6

ひとこと要約

本稿では、Twitterとニュースデータを組み合わせたハイブリッド手法を提案し、現実世界の出来事の検出と状況認識要約の作成を実現する。地理的に位置付けられたTwitterデータにおける出来事の急増を検出するために、変更を加えたバイオ監視アルゴリズムを用い、ニュース検索に適した用語をフィルタリングし、主要なツイートとニュース記事をランク付けする。これにより、出来事検出のF1スコアは0.9362に達し、ニュースリンクの精度も高い水準を維持した。

ABSTRACT

Twitter updates now represent an enormous stream of information originating from a wide variety of formal and informal sources, much of which is relevant to real-world events. In this paper we adapt existing bio-surveillance algorithms to detect localised spikes in Twitter activity corresponding to real events with a high level of confidence. We then develop a methodology to automatically summarise these events, both by providing the tweets which fully describe the event and by linking to highly relevant news articles. We apply our methods to outbreaks of illness and events strongly affecting sentiment. In both case studies we are able to detect events verifiable by third party sources and produce high quality summaries.

研究の動機と目的

• リアルタイムのTwitterストリームから信号ベースの異常検出を用いて現実世界の出来事を検出すること。
• スクリーニングされたツイートと関連するニュース記事を統合することで、高品質な状況認識要約を生成すること。
• ベースライン活動からの統計的乖離を用いてノイズをフィルタリングすることで、出来事検出のロバスト性を向上させること。
• 感染症の流行にとどまらず、有名人の死など感情に基づく出来事へも一般化できるようにすること。
• 感染症の流行と高感情度の出来事の両方を対象とした事例研究を通じて、システムの有効性を検証すること。

提案手法

• ツイート数の顕著な増加を検出するために、中央値平均偏差（MAD）に基づく新規フィルタリング機構を組み込んだEARSバイオ監視アルゴリズムを適用する。
• 有意水準（α < 0.05）を用いて、ベースライン頻度から逸脱する用語を特定し、出来事の代表的であると考えられる用語を選択する。
• 抽出された有意な用語を用いて、出来事のツイートをフィルタリングし、要約に適した集約されたセットを生成する。
• 精度加重手法を用いてニュース記事をランク付けし、1件の出来事あたり最も関連性の高い5件を取得する。
• 用語頻度と出来事への関連性に基づいて、出来事のツイートをランク付けし、要約用の簡潔なリストを生成する。
• OpenCalaisとコサイン類似度を用いて、ツイートとニュース間の固有表現とコンテンツ類似度を比較することで、ニュースの関連性を検証する。

実験結果

リサーチクエスチョン

• RQ1 公衆衛生分野で使われるバイオ監視アルゴリズムを、現実世界の出来事に対応する地域的Twitter活動の急増検出に適応できるか。
• RQ2 出来事のツイートから、ニュース検索の正確性を向上させるために、自動的に有意な用語を抽出する方法は何か。
• RQ3 スクリーニング済みのツイートとニュース記事のランク付けが、どれほど正確な人間による検証済みの状況認識要約を生成できるか。
• RQ4 感染症の流行や有名人の死など、感情に基づく出来事も含めた多様な出来事タイプにおいて、システムのパフォーマンスはどの程度か。
• RQ5 Twitterとニュースデータの統合により、誤検出を低減し、出来事の文脈的理解を向上させられるか。

主な発見

• 出来事検出手法はテストデータセット上でF1スコア0.9362を達成し、現実世界の出来事の同定において高い正確性と再現率を示した。
• ニュースリンクシステムは、偽陽性がゼロでありながらF0.5スコア0.79を達成し、関連するニュース記事の取得における高い正確性を示した。
• スクリーニング済みセットの上位5件のツイートが、26件中21件で人間によるコード化要約と完全一致し、出来事内容と強い整合性を示した。
• システムは、感染症の流行と、ロビン・ウィリアムズ氏の死など感情に基づく出来事（μmax = 20、合計4,472件のツイート）の両方を効果的に検出し、要約した。
• 中央値ベースのMADフィルタリングは、特に症状に基づくツイートストリームのような非正規分布データに対して、高いロバスト性を示した。
• 本手法は感染症検出をはるかに超えて一般化でき、感情およびキーワード分析を用いて、有名人の死や主要なスポーツイベントなど高インパクトの出来事を特定した。