[論文レビュー] Why is it Difficult to Detect Sudden and Unexpected Epidemic Outbreaks in Twitter?

Avaré Stewart, Sara Romano-Bertrand+6 more|arXiv (Cornell University)|Nov 10, 2016

Data-Driven Disease Surveillance参考文献 26被引用数 3

ひとこと要約

本論文は、ノイズや用語の進化によって隠されがちな、突然かつ予期しない流行病の発生を検出する課題に取り組み、動的分類、時系列アラート生成、パーソナライズドランク付けを組み合わせたTwitterベースの疫病インテリジェンス（EI）システムを提案する。実証的に、一般的な流行は検出可能であるが、高振幅・高振動の時系列データはノイズのため分析が困難であり、この問題を解決するために、クラウドソーシングによるラベル付けと文脈に配慮したランク付けを組み合わせた半教師ありアプローチを提案する。これにより、専門家による評価の効率が向上する。

ABSTRACT

Social media services such as Twitter are a valuable source of information for decision support systems. Many studies have shown that this also holds for the medical domain, where Twitter is considered a viable tool for public health officials to sift through relevant information for the early detection, management, and control of epidemic outbreaks. This is possible due to the inherent capability of social media services to transmit information faster than traditional channels. However, the majority of current studies have limited their scope to the detection of common and seasonal health recurring events (e.g., Influenza-like Illness), partially due to the noisy nature of Twitter data, which makes outbreak detection and management very challenging. Within the European project M-Eco, we developed a Twitter-based Epidemic Intelligence (EI) system, which is designed to also handle a more general class of unexpected and aperiodic outbreaks. In particular, we faced three main research challenges in this endeavor: 1) dynamic classification to manage terminology evolution of Twitter messages, 2) alert generation to produce reliable outbreak alerts analyzing the (noisy) tweet time series, and 3) ranking and recommendation to support domain experts for better assessment of the generated alerts. In this paper, we empirically evaluate our proposed approach to these challenges using real-world outbreak datasets and a large collection of tweets. We validate our solution with domain experts, describe our experiences, and give a more realistic view on the benefits and issues of analyzing social media for public health.

研究の動機と目的

• 突然かつ予期しない流行病の発生をTwitterで検出する困難さに取り組む。これは、ノイズや用語の進化によって、しばしば隠されがちなためである。
• 季節的でない、周期をもたない流行病にも対応可能な、頑健な疫病インテリジェンス（EI）システムの開発を目的とする。インフルエンザ様症候群（ILI）のような一般的な疾患を超える。
• 公衆衛生専門家の情報過多を軽減するため、文脈的特徴を用いて、流行アラートに関連する関連性の高いツイートをランク付け・推薦する。
• ドメイン専門家と実際の流行データを用いてシステムを評価し、ソーシャルメディアが公衆衛生監視において実際にどの程度有効であるかを現実的かつ客観的に評価する。

提案手法

• 用語の進化に適応できる半教師あり動的分類を採用し、クラウドソーシングによるラベル付けを活用することで、時間経過に伴う分類器の性能維持を図る。
• 時系列解析フレームワークを実装し、振幅と大きさに基づいてツイートのパターンを4つのカテゴリに分類することで、アラート生成を支援する。
• ツイート内容における特徴のシフトを検出する新しいアルゴリズムを用い、再訓練を新しく抽出された人為的ラベル付きデータでトリガーすることで、関連性の高い検出を向上させる。
• ソーシャルハッシュタグと潜在的トピックを統合したパーソナライズドランク付け技術を適用し、専門家によるレビューに適した高信号のツイートを優先順位付けする。
• マルチステージのEIパイプラインを設計する：(1) 関連性のための動的分類、(2) 時系列クラスタリングによるアラート生成、(3) 専門家評価のための文脈に配慮したランク付け。
• 実際の流行データセットと専門家のフィードバックを用いてシステムを検証し、実世界の公衆衛生現場における実用性と性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 なぜ、季節的または繰り返し発生する健康イベントと比較して、Twitter上での突然の予期しない流行病の発生は検出が難しいのか？
• RQ2 動的分類は、ソーシャルメディアデータにおける用語の進化や意味的シフトに対応するために、どのように効果的に適用できるのか？
• RQ3 ツイート件数の時系列パターンの中で、信頼性の高いアラート生成が最も困難となるのはどのようなパターンか？また、それらはどのように区別できるか？
• RQ4 ハッシュタグと潜在的トピックに基づくパーソナライズドランク付けは、流行アラートの専門家評価の効率をどの程度向上させられるか？
• RQ5 特に高再現率を優先する状況において、専門家ラベルなしでクラウドソーシングによるラベル付けが、分類器のトレーニングに十分な品質を達成できるか？

主な発見

• 定期的に更新されたクラウドラベル付きトレーニングデータを用いた半教師あり動的分類は、高い再現率と妥当な正確率を達成しており、専門家ラベル付きデータの代替として実用的である。
• 本システムは、ツイートにおける用語の進化を効果的に同定・適応でき、言語使用の変化に対しても、流行関連のコンテンツを検出可能にしている。
• 4つの明確な時系列パターンが同定された：低振幅・高大きさ（容易に検出可能）、低件数（直接アラートとして利用可能）、高振幅・高大きさ（ノイズのため最も困難）。
• 高振幅・高大きさの時系列データは依然として信頼性の高い分析が困難であり、ノイズや不完全なデータに対処できるより強固なアルゴリズムの開発が求められる。
• ハッシュタグと潜在的トピックに基づくパーソナライズドランク付けは、専門家による認知的負荷を著しく軽減し、関連性の高いツイートを優先的に提示する。
• 専門家による検証では、本システムがソーシャルメディアを活用した疫病インテリジェンスの現実的で実用的なフレームワークを提供していることが確認されたが、複雑な時系列パターンにおけるアラート生成の改善は依然として必要である。