[論文レビュー] A Comprehensive Survey on Evaluating Large Language Model Applications in the Medical Industry

Yining Huang, Keke Tang+2 more|arXiv (Cornell University)|Apr 24, 2024

Artificial Intelligence in Healthcare被引用数 10

ひとこと要約

臨床、データ処理、研究、教育、公衆衛生のユースケース全体で、医療分野における大規模言語モデル（LLMs）の評価方法を総括した調査で、ベンチマーク、指標、倫理的課題について議論している。

ABSTRACT

Since the inception of the Transformer architecture in 2017, Large Language Models (LLMs) such as GPT and BERT have evolved significantly, impacting various industries with their advanced capabilities in language understanding and generation. These models have shown potential to transform the medical field, highlighting the necessity for specialized evaluation frameworks to ensure their effective and ethical deployment. This comprehensive survey delineates the extensive application and requisite evaluation of LLMs within healthcare, emphasizing the critical need for empirical validation to fully exploit their capabilities in enhancing healthcare outcomes. Our survey is structured to provide an in-depth analysis of LLM applications across clinical settings, medical text data processing, research, education, and public health awareness. We begin by exploring the roles of LLMs in various medical applications, detailing their evaluation based on performance in tasks such as clinical diagnosis, medical text data processing, information retrieval, data analysis, and educational content generation. The subsequent sections offer a comprehensive discussion on the evaluation methods and metrics employed, including models, evaluators, and comparative experiments. We further examine the benchmarks and datasets utilized in these evaluations, providing a categorized description of benchmarks for tasks like question answering, summarization, information extraction, bioinformatics, information retrieval and general comprehensive benchmarks. This structure ensures a thorough understanding of how LLMs are assessed for their effectiveness, accuracy, usability, and ethical alignment in the medical domain. ...

研究の動機と目的

• 医療分野におけるLLMsの専門的評価の範囲と必要性を定義する。
• 医療におけるLLMsの応用を臨床、データ処理、研究、教育、そして公衆認識の領域に分類する。
• 医療分野全体で用いられる評価方法論、ベンチマーク、指標を要約する。
• 安全な導入のための評価フレームワークを改善する課題、ガバナンス、戦略を明らかにする。

提案手法

• 複数の領域にわたる医療設定におけるLLM評価に関する文献と研究を調査した。
• 議論を適用分野（臨床、データ処理、研究、教育、公衆認識）および評価方法論ごとに整理した。
• 正確性、バイアス、安全性、臨床適合性を評価するために用いられるベンチマーク種類と指標を要約した。
• 展開に向けた倫理的・法的・実務的考慮事項を概説するために知見を総合した。
• 医療分野での責任ある評価とLLMsの使用に関する実務家、研究者、政策立案者への指針を提供した。

実験結果

リサーチクエスチョン

• RQ1 LLMsが評価されている主な医療応用領域はどこか。
• RQ2 医療分野でLLMsを評価する際に用いられるベンチマーク、指標、評価プロトコルは何か。
• RQ3 医療利用の評価における主要な倫理的・法的・実務的課題は何か。
• RQ4 臨床現場での安全で有効な導入を保証するため、評価フレームワークをどのように改善できるか。

主な発見

• LLMsは一般的な臨床タスク、専門診療科（例：内分泌科、眼科学）および放射線診断を含む多様な医療分野で評価されており、精度とバイアスにはばらつきが報告されている。
• GPT-4およびPaLMファミリーモデルは医療QAベンチマークで高い性能を示す（例：MedQAで67.6%を達成したFlan-PaLM等）が、人間の評価では臨床適合性と潜在的な有害性に関する懸念が示される。
• ChatGPTの派生モデルは多くの臨床タスクで高い正確性を示す一方、医療決定における人種・性別・費用関連の偏りを示す。
• マルチモーダル医療LLM（Med-MLLM）は、限定的なラベル付きデータ（1%）を用いて放射線関連タスクを競合力のある結果で実行でき、データ効率の利点を示す。
• 放射線診断学および救急医学の研究は意思決定支援とトリアージの可能性を示すが、安全でない推奨のリスクと診断精度のばらつきが慎重なガバナンスを必要とする。