[論文レビュー] Generalizable Natural Language Processing Framework for Migraine Reporting from Social Media

Yuting Guo, Swati Rajwal+11 more|PubMed|Dec 23, 2022

Health Literacy and Information Accessibility参考文献 14被引用数 4

ひとこと要約

本稿では、5,750件のTwitter投稿および302件のReddit投稿を用いてトレーニングされた、プラットフォームに依存しないテキスト分類システムを用いて、ソーシャルメディアにおける自己報告の片頭痛討論を検出する汎用的なNLPフレームワークを提示する。TwitterではF1スコア0.90、RedditではF1スコア0.93を達成し、現実世界のオンラインディス course からの片頭痛関連治療法および患者の感情の強固な分析を可能にする。

ABSTRACT

Migraine is a highly prevalent and disabling neurological disorder. However, information about migraine management in real-world settings is limited to traditional health information sources. In this paper, we (i) verify that there is substantial migraine-related chatter available on social media (Twitter and Reddit), self-reported by those with migraine; (ii) develop a platform-independent text classification system for automatically detecting self-reported migraine-related posts, and (iii) conduct analyses of the self-reported posts to assess the utility of social media for studying this problem. We manually annotated 5750 Twitter posts and 302 Reddit posts, and used them for training and evaluating supervised machine learning methods. Our best system achieved an F₁ score of 0.90 on Twitter and 0.93 on Reddit. Analysis of information posted by our 'migraine cohort' revealed the presence of a plethora of relevant information about migraine therapies and sentiments associated with them. Our study forms the foundation for conducting an in-depth analysis of migraine-related information using social media data.

研究の動機と目的

• Twitter や Reddit などのソーシャルメディアプラットフォームに、顕著な片頭痛関連の議論が存在するかどうかを検証すること。
• 自己報告の片頭痛投稿を特定するための、プラットフォームに依存しないテキスト分類システムの開発。
• 検出された片頭痛関連投稿の内容を分析し、治療法や患者の感情に関するインサイトを抽出すること。

提案手法

• トレーニングおよび評価のためのゴールドスタンダードデータセットを作成するため、5,750件のTwitter投稿および302件のReddit投稿を手動でアノテーションすること。
• さまざまなソーシャルメディアのテキストを用いて、プラットフォーム独立性を確保するため、トランスファーラーニングアプローチを用いてテキスト分類モデルをトレーニングすること。
• 高い精度と再現率を実現するため、マルチクラス分類戦略を採用して片頭痛関連コンテンツを検出すること。
• 両方のデータセット（TwitterおよびReddit）において、F1スコアを主評価指標として用いてモデルのパフォーマンスを検証すること。
• トレーニング済みのモデルを用いて、非構造化のソーシャルメディアテキストから片頭痛治療法および関連する患者の感情に関する情報を検出・抽出すること。

実験結果

リサーチクエスチョン

• RQ1 TwitterおよびRedditに、どれほどの自己報告の片頭痛関連コンテンツが存在するのか？
• RQ2 1つのNLPモデルが、異なるソーシャルメディアプラットフォームにまたがって片頭痛関連投稿を検出できるか？
• RQ3 ソーシャルメディア投稿において、治療法や感情を含めた、片頭痛関連情報のどのような種類が一般的に表現されているか？
• RQ4 提案されたフレームワークは、複数のプラットフォームで自己報告の片頭痛コンテンツをどれほど正確に同定できるか？
• RQ5 検出された片頭痛関連投稿の言語的および感情的コンテンツを分析することで、どのようなインサイトが得られるか？

主な発見

• フレームワークは、TwitterでF1スコア0.90、RedditでF1スコア0.93を達成し、プラットフォームをまたがる強力な一般化性能を示した。
• TwitterおよびRedditの両方で、顕著な量の自己報告の片頭痛関連コンテンツが同定され、両方のプラットフォームがデータソースとしての有効性を確認した。
• 分析により、患者の体験や治療法の好みを含む、多様な片頭痛治療法に関する情報が明らかになった。
• 特定の治療法に関連する患者の感情が一貫して捉えられ、片頭痛管理における感情的および体験的側面が示された。
• モデルの高いパフォーマンスは、片頭痛関連の健康ディス course をスケーラブルにリアルタイムでモニタリングする可能性を示唆している。