[論文レビュー] Flu Detector: Estimating influenza-like illness rates from online user-generated content

Vasileios Lampos|arXiv (Cornell University)|Dec 11, 2016

Data-Driven Disease Surveillance参考文献 17被引用数 4

ひとこと要約

Flu Detector は、イギリスにおけるインフルエンザ様疾患（ILI）の発生率を、Googleの検索データとTwitterデータを用いて推定するオンラインプラットフォームであり、高度な統計的自然言語処理（NLP）モデルを適用して、リアルタイムでの感染症の動向を推定する。4つのインフルエンザ流行シーズンにわたり、公式のRCGP監視データと相関係数0.95を示し、10万人あたり1.5件の平均絶対誤差という高い正確性を達成している。

ABSTRACT

We provide a brief technical description of an online platform for disease monitoring, titled as the Flu Detector (fludetector.cs.ucl.ac.uk). Flu Detector, in its current version (v.0.5), uses either Twitter or Google search data in conjunction with statistical Natural Language Processing models to estimate the rate of influenza-like illness in the population of England. Its back-end is a live service that collects online data, utilises modern technologies for large-scale text processing, and finally applies statistical inference models that are trained offline. The front-end visualises the various disease rate estimates. Notably, the models based on Google data achieve a high level of accuracy with respect to the most recent four flu seasons in England (2012/13 to 2015/16). This highlighted Flu Detector as having a great potential of becoming a complementary source to the domestic traditional flu surveillance schemes.

研究の動機と目的

• イギリスにおけるインフルエンザ様疾患（ILI）発生率を、オンラインのユーザー生成コンテンツを用いてリアルタイムかつ公開可能なシステムとして開発すること。
• Google Flu Trends や他の先行システムの限界を克服し、高度なNLP技術を用いてモデルの正確性と信頼性を向上させること。
• 従来の症候性報告と統合可能な補完的でデータ駆動型の公衆衛生監視ツールを提供すること。
• Public Health England（PHE）と連携して、プラットフォームのパフォーマンスを評価し、国家インフルエンザ監視レポートへの統合可能性を検討すること。
• 今後の研究において、地域別推定、人口統計的分類、複数の感染症への対応拡張を含めた、システムの能力を拡張すること。

提案手法

• Flu Detector は、TwitterのStreaming APIと非公開のGoogle Health Trends APIからリアルタイムでデータを取得し、イギリスからの位置タグ付きの検索クエリとツイートを処理する。
• 履歴的なRCGPによるILI発生率を学習データとして用い、テキストデータの表現にbag-of-wordsとニューラルワード埋め込みを用いた教師あり学習モデルを適用する。
• 公式監視報告サイクルに合わせるため、週単位のウィンドウでデータを処理し、各推定値に7日間の検索頻度およびツイート頻度を用いる。
• Twitterデータに関しては、位置特定可能なツイートのわずかなサブセット（約1–2％）にモデルを適用するため、ノイズの多い推定値が得られ、ユーザーの視覚化を改善するために平滑化処理が施される。
• 統計的推論モデルは事前にオフラインで学習され、日次および週次でのILI発生率推定値を生成する。性能はRCGPデータと照合して検証される。
• テキスト処理にはApache Hadoopを、NLPおよび数値計算には標準的なPythonライブラリ（例：gensim、nltk、numpy）が使用される。

実験結果

リサーチクエスチョン

• RQ1 イギリスにおいて、Google検索データとTwitterデータから、インフルエンザ様疾患（ILI）発生率のリアルタイム推定を正確に行うことができるか？
• RQ2 Google検索ベースのモデルの性能は、従来の監視データと比較して、相関係数と誤差の観点でどの程度優れているか？
• RQ3 NLPを強化したモデルは、Google Flu Trends や他の初期システムと比較して、オンライン感染症監視の信頼性と正確性を向上させることができるか？
• RQ4 ソーシャルメディアや検索エンジンからのユーザー生成コンテンツは、国家公衆衛生監視においてどの程度補完的指標として機能できるか？
• RQ5 TwitterベースのILI推定には、データ量が少ないことが制限要因となるが、平滑化技術はその問題をどの程度緩和できるか？

主な発見

• Google検索ベースのモデルは、4つのインフルエンザ流行シーズン（2012/13～2015/16）にわたり、週次ILI発生率推定において、10万人あたり1.5件の平均絶対誤差を達成した。
• Google検索モデルは、公式のRCGP ILI監視データとピアソン相関係数0.95を示し、真値と強い整合性を示した。
• Twitterベースのモデルは、データ量が少ない（位置特定可能なツイートの1–2％）ため、推定値が不安定であったが、平滑化処理を施したバージョンは使いやすさが向上した。
• プラットフォームは、従来の監視手法の補完的ツールとしての実現可能性を効果的に示し、PHEの週次インフルエンザレポートへの統合可能性を支持する評価結果が得られた。
• ニューラルワード埋め込みを含む現代のNLP技術を活用することで、特徴表現とモデルの一般化能力が向上し、過去のモデルを上回る性能を発揮した。
• このプラットフォームは、イギリスにおけるGoogle検索ベースのILI推定を提供する最初のものであり、Google Flu Trends の終了に伴う空白を埋めた。