[論文レビュー] GAMedX: Generative AI-based Medical Entity Data Extractor Using Large Language Models

Mohammed-Khalil Ghali, Abdelrahman Farrag+4 more|arXiv (Cornell University)|May 31, 2024

Topic Modeling被引用数 5

ひとこと要約

GAMedXはオープンソースLLM（Mistral 7B, Gemma 7B）を統一プロンプト/ Pydanticスキーマと組み合わせて、非構造化テキストから医療エンティティを抽出し、高いROUGEスコアと強力なVAERSセマンティック分析を達成します。

ABSTRACT

In the rapidly evolving field of healthcare and beyond, the integration of generative AI in Electronic Health Records (EHRs) represents a pivotal advancement, addressing a critical gap in current information extraction techniques. This paper introduces GAMedX, a Named Entity Recognition (NER) approach utilizing Large Language Models (LLMs) to efficiently extract entities from medical narratives and unstructured text generated throughout various phases of the patient hospital visit. By addressing the significant challenge of processing unstructured medical text, GAMedX leverages the capabilities of generative AI and LLMs for improved data extraction. Employing a unified approach, the methodology integrates open-source LLMs for NER, utilizing chained prompts and Pydantic schemas for structured output to navigate the complexities of specialized medical jargon. The findings reveal significant ROUGE F1 score on one of the evaluation datasets with an accuracy of 98\%. This innovation enhances entity extraction, offering a scalable, cost-effective solution for automated forms filling from unstructured data. As a result, GAMedX streamlines the processing of unstructured narratives, and sets a new standard in NER applications, contributing significantly to theoretical and practical advancements beyond the medical technology sphere.

研究の動機と目的

• 非構造化された医療ドラフトおよびノートから構造化情報を抽出する課題に対処する。
• 統一出力構造を持つオープンソースLLMsを用いたNERシステムの開発。
• 医療IT環境に適した費用対効果の高い統合を確保する。
• プライバシー制約を考慮しつつ、実データおよび合成データセットでアプローチを評価する。

提案手法

• オープンソースLLMを統一プロンプトとPydanticスキーマでラップし、構造化されたNERデータを出力する。
• LangChain Recursive Text Splitterを使用して文書を分割し、非英語テキストを英語に翻訳する。
• Mistral 7BとGemma 7Bを用いたインコンテキストラーニング（ワンショットおよびFew-shot）を適用し、医療データ抽出のためにプロンプトを最適化する。
• ROUGE-1 F1とROUGE-L F1で評価する。VAERSの場合、埋め込み（BGEおよびInstruct Embeddings）によるセマンティック分析とt-SNE可視化を用いる。
• データセット間のロバスト性を評価するため、ゼロショットとFew-shot設定を比較する。

実験結果

リサーチクエスチョン

• RQ1 統一プロンプティングを用いたオープンソースLLMは、非構造化の語りレベルで高精度の医療NERを達成できるか？
• RQ2 医療転写とVAERSレポートの抽出品質に対するワンショットとFew-shotプロンプティングの影響は？
• RQ3 VAERS抽出性能の評価において、ROUGEベース分析と意味埋込み分析はどう比較されるか？

主な発見

Model	Strategies	Competition Dataset ROUGE-1 F1	Competition Dataset ROUGE-L F1	VAERS Dataset ROUGE-1 F1	VAERS Dataset ROUGE-L F1
Mistral	One Shot	97%	98%	58%	57%
Mistral	Few Shots	98%	98%	63%	62%
Gemma	One Shot	97%	97%	60%	59%
Gemma	Few Shots	98%	98%	63%	62%

• コンペティションデータセットで、ROUGE-1 F1およびROUGE-L F1スコアは、モデルとワンショット/フェショット設定に関係なく97%〜98%の範囲。
• VAERSデータセットでは、ROUGE-1 F1およびROUGE-L F1スコアは、モデルとショット設定に応じて57%〜63%の範囲。
• Few-shotプロンプトは、Mistral 7BとGemma 7Bの両方でVAERSの性能を控えめに向上させる。
• BGEとInstruct Embeddingsを用いたt-SNEによるセマンティック分析は、ROUGE指標を超えるVAERS出力の解釈に役立つ。