[論文レビュー] Detecting Adverse Drug Reactions from Twitter through Domain-Specific Preprocessing and BERT Ensembling

Amy Breden, Lee E. Moore|arXiv (Cornell University)|May 11, 2020

Computational Drug Discovery Methods被引用数 5

ひとこと要約

本論文は、ドメイン固有の前処理を施したBERTベースのアンサンブルモデルを提案し、Twitterにおける副作用反応（ADR）検出の性能を向上させることを目的としている。BERT LARGE、BioBERT、ClinicalBERTを微調整し、独自の前処理（薬剤正規化を含む）を適用し、最大予測アンサンブルを用いることで、SOTAのF1スコア（0.6681）とリコール（0.7700）を達成し、SMM4H 2019の提出物および2020年3月21日時点で評価プラットフォームに登録された後続のエントリーよりも優れた性能を発揮した。

ABSTRACT

The automation of adverse drug reaction (ADR) detection in social media would revolutionize the practice of pharmacovigilance, supporting drug regulators, the pharmaceutical industry and the general public in ensuring the safety of the drugs prescribed in daily practice. Following from the published proceedings of the Social Media Mining for Health (SMM4H) Applications Workshop & Shared Task in August 2019, we aimed to develop a deep learning model to classify ADRs within Twitter tweets that contain drug mentions. Our approach involved fine-tuning $BERT_{LARGE}$ and two domain-specific BERT implementations, $BioBERT$ and $Bio + clinicalBERT$, applying a domain-specific preprocessor, and developing a max-prediction ensembling approach. Our final model resulted in state-of-the-art performance on both $F_1$-score (0.6681) and recall (0.7700) outperforming all models submitted in SMM4H 2019 and during post-evaluation to date.

研究の動機と目的

• SNS、特にTwitterのような文脈ではADRの言及がまれであり、しばしば非公式な表現に隠されているため、SNSにおける副作用反応（ADR）検出の性能を向上させること。
• ADR検出におけるリコールの低さに取り組むため、公衆衛生的価値を鑑み、精度よりもリコールを優先すること。
• 特に薬剤名正規化を含むドメイン特化型の前処理と、複数のBERTバリアントをアンサンブルすることにより、モデル性能を向上させること。
• 最先端のBERTモデルを使用しても、単純な前処理技術が顕著な性能向上をもたらす可能性を示すこと。
• リアルタイムの薬物疫学的監視に適した、高リコール性の堅牢なソリューションを提供すること。

提案手法

• BERT LARGE（小文字未処理）、BioBERT（バイオメディカルコーパスで事前学習済み）、ClinicalBERT（臨床ノートで微調整されたBioBERTから抽出）の3つのBERTベースモデルを微調整した。
• URLの匿名化、ハッシュタグの処理・削除、小文字変換、および薬剤ブランド名を一般名に正規化するドメイン特化型の前処理器を適用した。
• 各モデルの訓練に、エポック数の早期停止と、初期値を調整する学習率スケジューリングを組み合わせた5分割交差検証戦略を採用した。
• 各BERTバリアントに対して5つの独立して訓練されたモデルを平均化するアンサンブル戦略を実装し、その後、3つのモデルタイプ間で最大予測アンサンブルを適用することでリコールを最大化した。
• 過学習を避けるために、分類のための固定しきい値0.5を採用したが、初期実験ではより低いしきい値が指標を改善する可能性があると示唆された。
• 標準的な自然言語処理指標を用いてモデルを評価したが、本タスクの目的が真のADRをすべて特定することにあることから、F1スコアとリコールに特に注目した。

実験結果

リサーチクエスチョン

• RQ1 特に薬剤名正規化を含むドメイン特化型の前処理は、SNSテキストにおけるADR検出性能を向上させ得るか？
• RQ2 一般ドメイン、バイオメディカル、臨床ドメインの3つのBERTバリアントをアンサンブルすることで、個々のモデルよりも優れた性能が得られるか？
• RQ3 より複雑な微調整戦略に比べて、単純な前処理器がADR検出におけるリコールとF1スコアの面で優れた性能を発揮できるか？
• RQ4 SMM4H 2019コーパスのような小規模かつ不均衡なデータセットに対してBERTを微調整する際、モデルの分散が性能に与える影響はいかほどか？
• RQ5 薬剤正規化は、ADR検出のためのBERTモデルにおけるトークン化と表現学習にどの程度寄与するか？

主な発見

• 最終的なアンサンブルモデルは、F1スコア0.6681、リコール0.7700を達成し、SMM4H 2019の共有タスクに提出されたすべてのモデルおよび2020年3月21日時点で評価プラットフォームに登録されたすべての後続エントリーよりも優れた性能を示した。
• 薬剤正規化モジュールが最も効果的な前処理コンponentであり、BioBERTおよびClinicalBERTの両方でF1スコアとリコールが2.4%〜10.9%向上した。これは、一般薬剤名のより良いトークン化に起因する。
• 同じ前処理を施したBERT LARGEモデルは、150万件のツイートコーパスでBERTを再学習したSMM4H 2019優勝チームのモデルと同等の性能を示し、前処理そのものの価値を示した。
• 各BERTバリアントに対して5つの独立して訓練されたモデルを平均化するアンサンブルにより、分散が低減され、モデルの堅牢性が向上した。これは、小規模データセット上でBERTを微調整する際の固有の不安定性に対処した。
• 予測の標準偏差は、実行間で約0.01を維持しており、データ不足とクラス不均衡の影響により、BERT微調整において知られている課題が継続的に存在することが示された。
• 3つのモデルタイプ（BERT LARGE、BioBERT、ClinicalBERT）間で最大予測アンサンブルを適用することで、補完的な予測を効果的に捉え、リコールを最大化しつつ、精度を損なわずに済ませた。