[論文レビュー] Did You Really Just Have a Heart Attack? Towards Robust Detection of Personal Health Mentions in Social Media

Payam Karisani, Eugene Agichtein|arXiv (Cornell University)|Feb 26, 2018

Topic Modeling参考文献 40被引用数 4

ひとこと要約

この論文では、歪んだ単語埋め込みとハイブリッド特徴量を活用することで、限られたリソースでも強力に個人の健康関連発言（PHM）を検出できるWESPADを提案する。限定的な学習データでも最先端のモデルを上回り、インfluenzaおよび多条件ベンチマークの両方で優れたF1スコアを達成しており、まれなまたは曖昧に表現された健康イベントに対しても一般化性能が優れていることが示された。

ABSTRACT

Millions of users share their experiences on social media sites, such as Twitter, which in turn generate valuable data for public health monitoring, digital epidemiology, and other analyses of population health at global scale. The first, critical, task for these applications is classifying whether a personal health event was mentioned, which we call the (PHM) problem. This task is challenging for many reasons, including typically short length of social media posts, inventive spelling and lexicons, and figurative language, including hyperbole using diseases like "heart attack" or "cancer" for emphasis, and not as a health self-report. This problem is even more challenging for rarely reported, or frequent but ambiguously expressed conditions, such as "stroke". To address this problem, we propose a general, robust method for detecting PHMs in social media, which we call WESPAD, that combines lexical, syntactic, word embedding-based, and context-based features. WESPAD is able to generalize from few examples by automatically distorting the word embedding space to most effectively detect the true health mentions. Unlike previously proposed state-of-the-art supervised and deep-learning techniques, WESPAD requires relatively little training data, which makes it possible to adapt, with minimal effort, to each new disease and condition. We evaluate WESPAD on both an established publicly available Flu detection benchmark, and on a new dataset that we have constructed with mentions of multiple health conditions. Our experiments show that WESPAD outperforms the baselines and state-of-the-art methods, especially in cases when the number and proportion of true health mentions in the training data is small.

研究の動機と目的

• 比喩的表現やまれな疾患が原因で偽陽性率が高くなる短く非公式なソーシャルメディア投稿において、真の個人の健康関連発言を検出する課題に対処すること。
• 人的な特徴量設計に依存せず、最小限のラベル付きデータで多様な疾患に一般化可能な手法を開発すること。
• ストロークやがんなど、しばしば比喩的・誇張的に使われる疾患に対して、検出精度を向上させること。
• ソーシャルメディアにおける自己報告の健康イベントを正確に同定することで、スケーラブルかつリアルタイムの公衆衛生監視を可能にすること。
• 大規模で疾患固有の訓練データセットに依存せず、新しい疾患に素早く適応できるモデルを構築することで、依存度を低下させること。

提案手法

• WESPADは、語彙的、構文的、単語埋め込みベース、文脈ベースの特徴量を統合して、ソーシャルメディアにおける個人の健康関連発言を検出する。
• 少数の正例からの特徴量学習を強化するため、新しい単語埋め込み空間の歪み技術を導入する。
• 訓練データの分布に基づいて単語ベクトル表現を精緻化するため、we_distortionおよびwe_partitioning特徴量を用いる。
• 低リソース環境下で情報量の多い特徴量を優先するために、インスタンス固有の特徴量重み付け（IG重み付け）を適用する。
• 前後の単語からの文脈特徴量を統合することで、文脈理解を向上させる。
• スパarsityとノイズが多いソーシャルメディアテキストから、手動による特徴量設計を避け、自動的に有効な表現を学習する。

実験結果

リサーチクエスチョン

• RQ1 訓練データが限られている状況でも、高リCALLと高精度で個人の健康関連発言を検出できるモデルは構築可能か？
• RQ2 低リソース環境下で、WESPADは最先端のディープラーニングモデルと比較してどの程度の性能を示すか？
• RQ3 比喩的表現やまれな疾患が存在する状況で、単語埋め込み空間の歪みは検出性能をどの程度向上させるか？
• RQ4 再トレーニングや手動による特徴量設計なしに、WESPADは複数の疾患に一般化可能か？
• RQ5 文脈および構文的特徴量の組み込みが、曖昧な健康関連発言の検出性能にどのように影響するか？

主な発見

• WESPADはPHM2017データセットでF1スコア0.695を達成し、LSTMやCNNなどのディープラーニングモデルを含むすべてのベースラインを上回った。
• FLU2013ベンチマークではF1スコア0.712を達成し、最良のベースライン（ME+lex）を0.055 F1ポイント上回った。
• 正例の20％のデータでの学習でも、WESPADはF1スコア0.658を達成したのに対し、ME+lexは0.564にとどまり、少数例からの優れた一般化性能が示された。
• we_distortionおよびwe_partitioning特徴量が性能向上に最も寄与し、ベースラインモデル比でそれぞれF1スコアを7.4%および6.1%向上させた。
• 10％～30％の正例データという低データ環境下でも、WESPADはME+lexおよびルールベースモデルを顕著に上回り、データ不足に対する強靭性が裏付けられた。
• 特徴量の除去実験では、文脈ベース特徴量（context_next, context_prev）および構文的特徴量も有意義な貢献を示したが、単語埋め込みベース特徴量ほどではない。