[論文レビュー] Syndromic classification of Twitter messages

Nigel Collier, Son Doan|arXiv (Cornell University)|Oct 13, 2011

Data-Driven Disease Surveillance参考文献 8被引用数 7

ひとこと要約

本論文では、公衆衛生オントロジーとキーワードベースの特徴を用いて、ツイッター投稿を6つの症候群カテゴリ（呼吸器系、消化器系、神経系、発疹、全身性、出血性）に分類するリアルタイムの機械学習システムを提示している。多項式カーネル（次数1）を用いたSVMモデルが、出血性症候群でF1スコア89.9、全身性症候群で89.3を記録し、ソーシャルメディアデータを用いた自動症候群監視において優れた性能を示した。

ABSTRACT

Recent studies have shown strong correlation between social networking data and national influenza rates. We expanded upon this success to develop an automated text mining system that classifies Twitter messages in real time into six syndromic categories based on key terms from a public health ontology. 10-fold cross validation tests were used to compare Naive Bayes (NB) and Support Vector Machine (SVM) models on a corpus of 7431 Twitter messages. SVM performed better than NB on 4 out of 6 syndromes. The best performing classifiers showed moderately strong F1 scores: respiratory = 86.2 (NB); gastrointestinal = 85.4 (SVM polynomial kernel degree 2); neurological = 88.6 (SVM polynomial kernel degree 1); rash = 86.0 (SVM polynomial kernel degree 1); constitutional = 89.3 (SVM polynomial kernel degree 1); hemorrhagic = 89.9 (NB). The resulting classifiers were deployed together with an EARS C2 aberration detection algorithm in an experimental online system.

研究の動機と目的

• 公衆衛生オントロジー用語に基づいて、ツイッター投稿を症候群カテゴリに分類する自動テキストマイニングシステムの開発。
• ナイーブベイズとサポートベクターマシンモデルの性能を、ツイッター投稿の6つの症候群への分類において評価すること。
• 最良の性能を示した分類器を、異常検出アルゴリズム（EARS C2）と統合し、リアルタイム監視システムに実装すること。
• 時系列的および地理的要因で分類済みの投稿を集約することで、疾病のアウトブレイクを早期に検出可能にする。

提案手法

• 公衆衛生オントロジーを用いて6つの症候群カテゴリにラベル付けされた7,431件のツイッター投稿から成るコーパスを収集した。
• ツイートからの症候群信号を抽出するために、キーワードベースの語彙を初期フィルタとして適用した。
• 10分割交差検証を用いて、ラベル付け済みコーパス上で教師あり機械学習モデル（ナイーブベイズとサポートベクターマシン）を訓練した。
• 分類性能の最適化のため、SVMに多項式カーネルと径路基底関数カーネルを用いた。
• 不要な文脈やノイズを除去するために、ストップワードおよびストップフレーズを用いた後処理を実装した。
• 最良のモデルをEARS C2異常検出アルゴリズムと統合し、都市および時間帯ごとの履歴的メッセージ数を用いてリアルタイムのアラートベースラインを生成した。

実験結果

リサーチクエスチョン

• RQ1 公衆衛生オントロジーからのキーワードベース特徴を用いて、機械学習モデルがツイッター投稿を症候群カテゴリに効果的に分類できるか？
• RQ2 ノイズの多いソーシャルメディアテキストにおける多様な症候群カテゴリの分類において、ナイーブベイズとサポートベクターマシンモデルの性能はどのように比較されるか？
• RQ3 多項式カーネルと径路基底関数カーネルなどのモデルアーキテクチャのうち、どの構造が症候群分類において最高のF1スコアを達成するか？
• RQ4 ツイッター投稿のリアルタイム分類は、疾病のアウトブレイク早期警告のための効果的な異常検出を可能にするか？

主な発見

• 多項式カーネル（次数1）を用いたSVMモデルが、全身性症候群でF1スコア89.3を記録し、他のモデルを上回った。
• 出血性症候群ではナイーブベイズモデルがF1スコア89.9を達成し、この稀だが重要なカテゴリにおいて優れた性能を示した。
• 消化器系症候群では両モデルとも低い性能（F1：79.2～85.4）を示したが、これはインタラクター間的一致度が低く、トレーニングデータが限られていたためと推察された。
• 神経系症候群では、SVMの多項式カーネル（次数1）がF1スコア88.6を達成し、このクラスにおけるモデルの汎化能力の高さを示した。
• 本システムはオープンアクセスのウェブアプリケーション（DIZIE）としてデプロイされ、都市および症候群ごとのアラートレベルを1時間ごとに更新されるリアルタイムのレーダーチャートで可視化した。
• EARS C2アルゴリズムは履歴的メッセージ数を用いてアラートベースラインを効果的に生成し、時系列的異常検出を可能にしたことで、アウトブレイク監視に貢献した。