[論文レビュー] Improving Entity Recognition Using Ensembles of Deep Learning and Fine-tuned Large Language Models: A Case Study on Adverse Event Extraction from Multiple Sources

Yiming Li, Deepthi Viswaroopan+5 more|arXiv (Cornell University)|Jun 26, 2024

Topic Modeling被引用数 4

ひとこと要約

本研究では、バイオメディカルテキストにおける副作用（AE）エンティティ抽出を向上させるために、ファインチューニングされた大規模言語モデル（LLMs）と従来のディープラーニングモデルを組み合わせたアンサンブルモデルを提案する。VAERS、Twitter、Redditのデータ上でGPT-3.5、Llama-2、BioBERTをアンサンブル学習で統合することで、『ワクチン』に対して0.878、『ショット』に対して0.930、『AE』に対して0.925のストレクトF1スコアを達成し、マイクロ平均F1スコアは0.903を記録した。これは、個々のモデルに比べて優れたロバスト性と性能を示している。

ABSTRACT

Adverse event (AE) extraction following COVID-19 vaccines from text data is crucial for monitoring and analyzing the safety profiles of immunizations. Traditional deep learning models are adept at learning intricate feature representations and dependencies in sequential data, but often require extensive labeled data. In contrast, large language models (LLMs) excel in understanding contextual information, but exhibit unstable performance on named entity recognition tasks, possibly due to their broad but unspecific training. This study aims to evaluate the effectiveness of LLMs and traditional deep learning models in AE extraction, and to assess the impact of ensembling these models on performance. In this study, we utilized reports and posts from the VAERS (n=621), Twitter (n=9,133), and Reddit (n=131) as our corpora. Our goal was to extract three types of entities: "vaccine", "shot", and "ae". We explored and fine-tuned (except GPT-4) multiple LLMs, including GPT-2, GPT-3.5, GPT-4, and Llama-2, as well as traditional deep learning models like RNN and BioBERT. To enhance performance, we created ensembles of the three models with the best performance. For evaluation, we used strict and relaxed F1 scores to evaluate the performance for each entity type, and micro-average F1 was used to assess the overall performance. The ensemble model achieved the highest performance in "vaccine", "shot", and "ae" with strict F1-scores of 0.878, 0.930, and 0.925, respectively, along with a micro-average score of 0.903. In conclusion, this study demonstrates the effectiveness and robustness of ensembling fine-tuned traditional deep learning models and LLMs, for extracting AE-related information. This study contributes to the advancement of biomedical natural language processing, providing valuable insights into improving AE extraction from text data for pharmacovigilance and public health surveillance.

研究の動機と目的

• 多様なテキストソースからの副作用（AE）エンティティ認識における、ファインチューニングされた大規模言語モデル（LLMs）と従来のディープラーニングモデルの性能を評価すること。
• 高性能なLLMsとディープラーニングモデルをアンサンブル化することで、エンティティ認識の正確性とロバスト性が向上するかどうかを調査すること。
• VAERS、Twitter、Redditなどの異種データソースから『ワクチン』、『ショット』、『ae』の3つの主要なエンティティタイプを抽出すること。
• 厳密なF1スコアと緩いF1スコアの両方を用いてモデルの性能を評価し、アノテーションの閾値に応じた信頼性を確保すること。
• 自然言語処理（NLP）を用いた薬物疫学的監視および公衆衛生監視のためのスケーラブルで高精度なフレームワークを提供すること。

提案手法

• VAERS（n=621）、Twitter（n=9,133）、Reddit（n=131）から得たラベル付きコーパスを用いて、複数のLLMs（GPT-2、GPT-3.5、GPT-4、Llama-2）と従来モデル（RNN、BioBERT）をファインチューニングした。
• 初期評価の結果、上位3つの性能を示したモデルを選定し、アンサンブル構築に用いた。
• 上位3つのモデルの予測確率を平均化することでアンサンブルモデルを構築し、一般化性能の向上と分散の低減を図った。
• エンティティレベルの性能評価には厳密なF1スコアと緩いF1スコアを用い、全体のモデル評価にはマイクロ平均F1スコアを採用した。
• LLMsをバイオメディカルおよび臨床テキストドメインに適応させるために、トランスファー学習技術を適用し、文脈理解の向上を図った。
• 特にGPT-4に対しては、ゼロショットおよびフェイントショットのプロンプティング戦略を適用し、ゼロショット推論の安定性を向上させた。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニングされた大規模言語モデルは、非構造化テキストからの副作用関連エンティティ抽出において、従来のディープラーニングモデルに比べてどのように異なるか？
• RQ2 LLMsと古典的ディープラーニングモデルを組み合わせた複数の高性能モデルをアンサンブル化することで、個々のモデルを上回るエンティティ認識性能が達成できるか？
• RQ3 データソースの多様性（例：VAERS、Twitter、Reddit）は、モデルの一般化性能とエンティティ認識の正確性にどのような影響を与えるか？
• RQ4 厳密なF1スコアと緩いF1スコアの閾値設定は、臨床テキストにおけるエンティティ認識性能の評価にどのように影響するか？
• RQ5 モデルアンサンブルは、副作用抽出タスクにおける予測分散をどの程度低減させ、ロバスト性を向上させるか？

主な発見

• アンサンブルモデルは『ワクチン』エンティティに対して0.878のストレクトF1スコアを達成し、すべての個別モデルを上回った。
• 『ショット』エンティティに関しては、ストレクトF1スコアが0.930に達し、このエンティティタイプに対して優れた性能を示した。
• 『ae』（副作用）エンティティに関しては、最高のストレクトF1スコア0.925を記録し、高い正確性と再現率を示した。
• すべてのエンティティのマイクロ平均F1スコアは0.903であり、データセット全体にわたる強力なロバスト性と一般化性能を示している。
• ファインチューニングされたLlama-2とGPT-3.5は、特にソーシャルメディアの非公式な言語を処理する点で、アンサンブルの性能向上に大きく貢献した。
• アンサンブルアプローチにより、Reddit や Twitter の低リソースまたはノイズの多いテキストに対して、個別モデルと比較して予測分散が低減され、安定性が向上した。