[論文レビュー] Early Stage Influenza Detection from Twitter

J Y Li, Claire Cardie|arXiv (Cornell University)|Sep 27, 2013

Data-Driven Disease Surveillance参考文献 27被引用数 61

ひとこと要約

本稿では、リアルタイムのインfluenza関連ツイートを分析し、空間的依存関係と日次時間的要因を組み込むことで、初期インフルエンザ流行を検出する非教師付きベイジアン時空間モデルであるFlu Markov Network (Flu-MN) を提案する。Google Flu Trends やキーワードベース手法を上回り、CDCのILIデータと相関係数0.958を達成し、リアルタイムのインフルエンザ監視において優れた正確性を示している。

ABSTRACT

Influenza is an acute respiratory illness that occurs virtually every year and results in substantial disease, death and expense. Detection of Influenza in its earliest stage would facilitate timely action that could reduce the spread of the illness. Existing systems such as CDC and EISS which try to collect diagnosis data, are almost entirely manual, resulting in about two-week delays for clinical data acquisition. Twitter, a popular microblogging service, provides us with a perfect source for early-stage flu detection due to its real- time nature. For example, when a flu breaks out, people that get the flu may post related tweets which enables the detection of the flu breakout promptly. In this paper, we investigate the real-time flu detection problem on Twitter data by proposing Flu Markov Network (Flu-MN): a spatio-temporal unsupervised Bayesian algorithm based on a 4 phase Markov Network, trying to identify the flu breakout at the earliest stage. We test our model on real Twitter datasets from the United States along with baselines in multiple applications, such as real-time flu breakout detection, future epidemic phase prediction, or Influenza-like illness (ILI) physician visits. Experimental results show the robustness and effectiveness of our approach. We build up a real time flu reporting system based on the proposed approach, and we are hopeful that it would help government or health organizations in identifying flu outbreaks and facilitating timely actions to decrease unnecessary mortality.

研究の動機と目的

• 従来の臨床監視システムの2週間の遅延を解消する、リアルタイムで非教師付きのインフルエンザ検出手法の開発。
• 隣接地域がインフルエンザ検出に影響を与えるという空間的依存関係を確率的モデルに統合し、より良い流行検出を実現すること。
• 週単位のパターン（例：月曜日にインフルエンザ関連ツイートが増加）など、既存の手法で誤検出を引き起こす日次時間的要因を明示的にモデル化すること。
• インフルエンザ関連ツイートを単なる投稿数の急増ではなく、疾患の集団的指標としてモデル化することで、既存のキーワードベースおよびクリックベースのインフルエンザ監視システムを改善すること。
• 公衆衛生当局が早期対応を可能にする、堅牢でデータ駆動型の早期警戒システムを提供すること。

提案手法

• Flu-MNは、米国各地域におけるインフルエンザ関連ツイート活動の時空間的依存関係をモデリングする4段階のマルコフネットワークを用いる。
• 個々のTwitterユーザーをセンサーとみなして、インフルエンザ関連ツイートを集約し、インフルエンザ流行の早期兆候とする。
• 地域間の空間的影響を組み込むために、隣接地域のインフルエンザ活動が局所的検出に影響すると仮定し、マルコフネットワーク構造でその依存関係を捉える。
• 日次時間的要因を明示的にモデル化し、週単位のパターン（例：月曜日にツイート数が増加）を考慮することで、誤検出を低減する。
• インフルエンザ関連ツイート数と実際のCDCが公表するILI医療機関受診者数の相関を、対数オッズに基づく線形モデルで記述する： log(N^ILI_i,t) = β₀ + β₁·log(Y_i,t) + ε。
• モデルは2008–2009年のTwitterおよびCDCデータで学習し、2009–2010年のデータでテストした。性能は相関係数およびRMSEで評価された。

実験結果

リサーチクエスチョン

• RQ1 時空間的非教師付きベイジアンモデルは、キーワードベースやクリックベースの既存手法よりも、インフルエンザ流行を早期かつ正確に検出できるか？
• RQ2 局所的信号が弱い状況下で、地域間の空間的依存関係を組み込むことで、インフルエンザ検出がどの程度向上するか？
• RQ3 日次時間的パターン（例：平日と週末のインフルエンザ関連ツイート数の差）が、Twitterからのインフルエンザ検出精度にどの程度影響を与えるか？
• RQ4 リアルタイムのTwitterデータは、Google Flu Trends などの従来の検索ベース手法を上回り、CDCが公表するILI受診者数を予測できるか？
• RQ5 Flu-MNモデルは、公衆衛生機関が信頼できる早期警戒システムとして利用できるほど堅牢か？

主な発見

• Flu-MNは、実際のCDCが公表するILI医療機関受診者数と相関係数0.958を達成し、クエリ検索ベースのGoogle Flu Trends（相関係数0.917）を顕著に上回った。
• モデルの平均二乗誤差（RMSE）は0.364であり、Google Flu Trendsの0.390より低く、より正確な予測を示した。
• 空間的依存関係を組み込むことで、局所的なインフルエンザ信号が弱くても、周辺地域での活動が高いために検出精度が向上した。
• 日次時間的要因を考慮することで、予測可能な週単位のツイート数の変動に起因する誤検出が低減された。
• 複数の米国地域および時間帯にわたり、モデルの一般化能力が検証され、リアルタイム監視に適していることが示された。
• 本研究は、高度な時空間モデルを用いて処理されたTwitterデータが、インフルエンザ流行の信頼できる早期指標として機能できることを確認した。これは、公衆衛生対応の遅延を低減する可能性を秘めている。