[論文レビュー] Automatically Detecting Self-Reported Birth Defect Outcomes on Twitter for Large-scale Epidemiological Research

Ari Z Klein, Abeed Sarker+2 more|arXiv (Cornell University)|Oct 22, 2018

Topic Modeling参考文献 37被引用数 6

ひとこと要約

本研究では、約23,000件のアノテート済みツイートから構成されるキュレート済みデータセットを用いて、Twitterユーザーが出生奇形の結果を自己報告しているかどうかを自動的に検出するための教師あり機械学習モデルを開発・評価した。最も優れたサポートベクターマシン（SVM）モデルは、'奇形'クラスでF1スコア0.65、'可能性のある奇形'クラスで0.51を達成し、自然言語処理（NLP）およびクラス不均衡低減技術を用いたソーシャルメディアを活用した大規模疫学的監視の実現可能性を示した。

ABSTRACT

In recent work, we identified and studied a small cohort of Twitter users whose pregnancies with birth defect outcomes could be observed via their publicly available tweets. Exploiting social media's large-scale potential to complement the limited methods for studying birth defects, the leading cause of infant mortality, depends on the further development of automatic methods. The primary objective of this study was to take the first step towards scaling the use of social media for observing pregnancies with birth defect outcomes, namely, developing methods for automatically detecting tweets by users reporting their birth defect outcomes. We annotated and pre-processed approximately 23,000 tweets that mention birth defects in order to train and evaluate supervised machine learning algorithms, including feature-engineered and deep learning-based classifiers. We also experimented with various under-sampling and over-sampling approaches to address the class imbalance. A Support Vector Machine (SVM) classifier trained on the original, imbalanced data set, with n-grams, word clusters, and structural features, achieved the best baseline performance for the positive classes: an F1-score of 0.65 for the "defect" class and 0.51 for the "possible defect" class. Our contributions include (i) natural language processing (NLP) and supervised machine learning methods for automatically detecting tweets by users reporting their birth defect outcomes, (ii) a comparison of feature-engineered and deep learning-based classifiers trained on imbalanced, under-sampled, and over-sampled data, and (iii) an error analysis that could inform classification improvements using our publicly available corpus. Future work will focus on automating user-level analyses for cohort inclusion.

研究の動機と目的

• 大規模疫学的研究を支援するため、Twitterユーザーが出生奇形の結果を自己報告しているかどうかを自動的に同定する手法を開発すること。
• 出生奇形のようなレアな健康結果において、ソーシャルメディアデータにおけるクラス不均衡の課題に対処すること。
• 不均衡なデータ、アンダーサンプリング済みデータ、オーバーサンプリング済みデータに対して、従来の特徴工学モデルとディープラーニングアプローチを比較すること。
• 将来の研究のための公開可能な、人間がアノテートした出生奇形関連ツイートのコーパスを作成・リリースすること。
• 集団レベルの出生奇形監視のためのスケーラブルで自動化されたユーザーレベルコhort同定を可能にすること。

提案手法

• 出生奇形を言及する公開可能なツイート約23,000件をアノテートし、トレーニングおよび評価のためのゴールドスタンダードデータセットを構築した。
• 教師あり分類器の入力表現として、n-gram、ワードクラスタ、構造的特徴の組み合わせを採用した。
• サポートベクターマシン（SVM）やディープラーニングベースの分類器を含む、複数の教師ありモデルをトレーニングおよび比較した。
• データセット内のクラス不均衡の影響を軽減するために、さまざまなアンダーサンプリングおよびオーバーサンプリング技術を適用した。
• モデルのパフォーマンスを評価するために、標準的な評価指標（精度、再現率、F1スコア）を、陽性クラス（'奇形'および'可能性のある奇形'）に対して用いた。
• 誤分類されたインスタンスのエラー分析を実施し、将来のモデル改善およびデータセットの洗練に役立てる手がかりを得た。

実験結果

リサーチクエスチョン

• RQ1 教師あり機械学習モデルは、ソーシャルメディアのテキストにおいて自己報告された出生奇形の結果を効果的に検出できるか？
• RQ2 レアな健康結果のための不均衡なソーシャルメディアデータにおいて、異なる特徴工学およびディープラーニングアプローチのパフォーマンスはどのように異なるか？
• RQ3 アンダーサンプリングおよびオーバーサンプリング技術は、Twitter上での出生奇形報告の検出におけるモデルパフォーマンスにどのような影響を与えるか？
• RQ4 公開可能な人間がアノテートしたツイートコーパスは、出生奇形のデジタル疫学研究における将来の研究をどのように向上させられるか？
• RQ5 自己報告された出生奇形ツイートの分類における主な誤分類パターンは何か、そしてそれらはモデルの洗練にどのように役立てるか？

主な発見

• サポートベクターマシン（SVM）分類器は、元の不均衡なデータセット上で、'奇形'クラスで最高のF1スコア0.65、'可能性のある奇形'クラスで0.51を達成した。
• n-gram、ワードクラスタ、構造的特徴を用いた特徴工学モデルが、この特定のタスクおよびデータ設定において、ディープラーニングベースのモデルを上回った。
• クラス不均衡はモデルパフォーマンスに顕著な影響を与え、アンダーサンプリングおよびオーバーサンプリング戦略の両方が再現率を向上させたが、ベースラインのSVMパフォーマンスを超えることはなかった。
• 約23,000件のアノテート済みツイートから構成される公開コーパスは、将来のデジタル疫学におけるNLPモデルのトレーニングおよび評価の貴重なリソースを提供する。
• エラー分析から、'可能性のある奇形'と非奇形の言及との間で誤分類が頻発することが判明し、これにより特定の方向へのモデル改善の機会が示された。
• 本研究は、NLPおよび教師あり学習を用いたことで、出生奇形の結果に対する大規模で自動化された監視が可能であることを示した。