[論文レビュー] Detecting influenza outbreaks by analyzing Twitter messages

Aron Culotta|arXiv (Cornell University)|Jul 27, 2010

Misinformation and Its Impacts参考文献 9被引用数 93

ひとこと要約

本稿では、2009年9月から2010年5月にかけての5億7000万件以上のTwitter投稿に対してキーワードマッチングを適用し、米国におけるインフルエンザ様疾患（ILI）発症率を予測する手法を提案している。CDCのデータと95％の相関を達成しており、医薬品回収などによる誤ったインフルエンザ関連の投稿（例：「インフルエンザワクチン」）をフィルタリングするための教師ありドキュメント分類器を導入することで、誤報誤差を50％以上削減しながらも高い予測精度を維持し、ノイズの多いソーシャルメディアデータにおいても高い耐性を示している。

ABSTRACT

We analyze over 500 million Twitter messages from an eight month period and find that tracking a small number of flu-related keywords allows us to forecast future influenza rates with high accuracy, obtaining a 95% correlation with national health statistics. We then analyze the robustness of this approach to spurious keyword matches, and we propose a document classification component to filter these misleading messages. We find that this document classifier can reduce error rates by over half in simulated false alarm experiments, though more research is needed to develop methods that are robust in cases of extremely high noise.

研究の動機と目的

• リアルタイムで米国におけるインフルエンザ様疾患（ILI）発症率を予測するためにTwitterデータを用いる可能性を評価すること。
• 公衆衛生の発表や製品回収など、誤った関連性を持つキーワードマッチング（例：「インフルエンザワクチン」）がILIの急増と誤って相関するのを特定し、その影響を軽減すること。
• 誤ったインフルエンザ関連のメッセージ（例：「インフルエンザワクチン」だが病状を示さないもの）をフィルタリングするための教師ありドキュメント分類システムを開発・評価すること。
• 誤報シナリオをシミュレートし、高ノイズ状態下でのフィルタリング手法の有効性を誤差（平均二乗誤差）の観点から評価すること。
• ハード分類閾値（確率 < 0.5）とソフト分類閾値（確率に基づく重み付け）の選択が、ソーシャルメディアデータにおける高ノイズ状態への耐性に与える影響を評価すること。

提案手法

• 2009年9月から2010年5月にかけての5億7000万件以上のTwitter投稿を収集・分析し、インフルエンザ関連キーワードに焦点を当てる。
• 線形回帰を用いてインフルエンザ関連キーワードの頻度と週次で報告されるCDCのILI発症率を相関させ、少数のキーワードで95％の相関を達成する。
• 教師ありドキュメント分類器を実装し、本物のインフルエンザ症状の記述と、誤った文脈（例：「インフルエンザワクチン」）のインフルエンザ関連投稿を区別する。
• ハード分類（確率 < 0.5）とソフト分類（確率に基づく重み付け）の両方の閾値を適用：ハード分類ではドキュメントを完全に除外し、ソフト分類ではその影響を低減する。
• データセットに誤った流行のシナリオ（スパム的投稿）を注入し、ILI予測の平均二乗誤差（MSE）を測定することで、耐性を評価する。
• ホールドアウトデータを用いて予測精度を検証し、キーワード単体、ソフト分類、ハード分類の各アプローチの性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 Twitter投稿における少数のインフルエンザ関連キーワードを追跡することで、国家レベルのILI発症率を高い精度で予測できるか？
• RQ2 公衆衛生の発表や製品回収などによる誤ったキーワードマッチングが、インフルエンザ予測モデルの信頼性に与える影響は何か？
• RQ3 教師ありドキュメント分類器が、Twitterベースのインフルエンザ監視における誤検出信号をどの程度低減できるか？
• RQ4 ハード分類とソフト分類の閾値の選択が、ソーシャルメディアデータにおける高ノイズ状態への耐性に与える影響は何か？
• RQ5 誤報を模擬した実験は、キーワードベースのインフルエンザ予測システムのレジリエンスを効果的に測定できるか？

主な発見

• ホールドアウトデータ上で、Twitter投稿における少数のインフルエンザ関連キーワードを追跡することで、国家レベルのCDCが公表するインフルエンザ様疾患（ILI）発症率と95％の相関を達成している。
• 「インフルエンザワクチン」などの用語が含まれると、90％を超える高い相関を示すが、これは実際のインフルエンザ感染の拡散を示すものではないため、誤った相関のリスクを示している。
• 誤報シミュレーションにおいて、教師ありドキュメント分類器は平均二乗誤差（MSE）を50％以上削減した。ハード分類（閾値 < 0.5）はソフト分類を上回る性能を示した。
• 改善が見られたが、10万件の誤ったメッセージが注入された場合には、すべてのフィルタリング手法が限界に達し、極端なノイズ下での限界が明らかになった。
• フィルタリング後も、CDCデータとの相関は94％を維持しており、誤報の削減と同時に精度が保たれていることが示された。
• 結果から、ソーシャルメディアを用いたリアルタイムのインフルエンザ監視において、ドキュメントのフィルタリングが不可欠であることが示唆されたが、極端なノイズ状況への対応はさらなる研究が必要である。