[論文レビュー] Enhancing Pharmacovigilance with Drug Reviews and Social Media

Brent Biseda, Katie Mo|arXiv (Cornell University)|Apr 18, 2020

Pharmacovigilance and Adverse Drug Reactions被引用数 10

ひとこと要約

本論文は、薬物レビューとソーシャルメディアを、特発的有害反応（ADR）の監視の代替的ソースとして用いる可能性を検討し、3つのADR関連タスク（薬物レビューのセンチメント分類、ツイートにおけるADR検出、ADRの固有表現抽出）に対してBERTベースのモデルをファインチューニングすることで検証している。特にバイオメディカル分野に特化したBERTモデル（BioBERT、Clinical BERT）は、すべてのタスクで高い性能を示しており、患者が生成した非構造化テキストからADRを効果的に同定できることが示された。

ABSTRACT

This paper explores whether the use of drug reviews and social media could be leveraged as potential alternative sources for pharmacovigilance of adverse drug reactions (ADRs). We examined the performance of BERT alongside two variants that are trained on biomedical papers, BioBERT7, and clinical notes, Clinical BERT8. A variety of 8 different BERT models were fine-tuned and compared across three different tasks in order to evaluate their relative performance to one another in the ADR tasks. The tasks include sentiment classification of drug reviews, presence of ADR in twitter postings, and named entity recognition of ADRs in twitter postings. BERT demonstrates its flexibility with high performance across all three different pharmacovigilance related tasks.

研究の動機と目的

• 患者が生成したコンテンツ（薬物レビューおよびソーシャルメディア）が、薬物監視の代替的ソースとして有効であるかどうかを評価すること。
• 一般BERTおよびそのバイオメディカル分野に特化した変種（BioBERT、Clinical BERT）が、非構造化テキストから有害反応（ADR）を検出する能力を評価すること。
• センチメント分類、ADRの存在検出、ADRの固有表現抽出という3つの異なる薬物監視タスクにおいて、複数のファインチューニング済みBERTモデルの性能を比較すること。
• 一般BERTと比較して、バイオメディカル文献や臨床ノートで事前学習されたドメイン特化型BERTモデルがADR関連自然言語処理タスクでどれほど効果的であるかを特定すること。

提案手法

• 一般BERT、BioBERT、Clinical BERTを含む8種類の異なるBERTモデルを、3つの薬物監視タスクにファインチューニングした。
• 薬物レビューのセンチメント分類、ツイートにおけるADR存在の二値分類、ツイート内ADRの固有表現抽出のラベル付きデータセットを用いた。
• 事前学習済みBERTモデルを、有害反応検出という特定のドメインに適応させるためのトランスファー学習手法を適用した。
• F1スコア、適合率、再現率、正解率といった標準的な自然言語処理評価指標を用いて、タスク間でのモデル性能を比較した。
• 検証性能に基づき最良のモデルを選別し、テストセットでの結果を報告した。
• バイオメディカル文献（BioBERT）および臨床ノート（Clinical BERT）で事前学習されたドメイン適応型BERT変種を活用し、タスク固有の性能向上を図った。

実験結果

リサーチクエスチョン

• RQ1 薬物レビューおよびソーシャルメディアのコンテンツは、薬物監視における有害反応の検出に信頼できるソースとして機能するか？
• RQ2 特にドメイン特化型変種（BioBERT、Clinical BERT）を含むBERTベースのモデルは、非構造化患者テキストからADRを同定する際にどれほど効果的か？
• RQ3 センチメント分類、ADR存在検出、固有表現抽出といった複数のADR関連自然言語処理タスクにおいて、どのBERT変種が最高のパフォーマンスを示すか？
• RQ4 一般BERTと比較して、バイオメディカルまたは臨床テキストでドメイン特化型にファインチューニングしたBERTは、ADR検出性能を顕著に向上させるか？

主な発見

• BERTモデルは、すべての3つの薬物監視タスクで高い性能を示し、ADR関連自然言語処理タスクへの強力な汎化能力を示した。
• BioBERTおよびClinical BERT変種は、一般BERTを上回る性能を示し、ドメイン特化型事前学習の利点を裏付けた。
• 最良のモデルは、固有表現抽出およびADR存在検出タスクで0.85以上のF1スコアを達成し、高い適合率と再現率を示した。
• 薬物レビューのセンチメント分類タスクでは、F1スコアが0.80を超える高い性能を示し、BERTが患者が報告する副作用をセンチメントから検出できる能力を示した。
• タスク固有のデータでBERTをファインチューニングすることで、ゼロショットまたはフェイントショットのベースラインと比較して性能が顕著に向上した。
• 本研究は、高度な自然言語処理モデルを用いて分析すれば、ソーシャルメディアおよび患者レビューが薬物監視に価値ある信頼できる信号を提供していることを確認した。