[論文レビュー] Evaluating large language models in medical applications: a survey

Xiaolan Chen, Jiayang Xiang+4 more|arXiv (Cornell University)|May 13, 2024

Artificial Intelligence in Healthcare and Education被引用数 4

ひとこと要約

本サーベイは、医療応用における大規模言語モデル（LLMs）の評価を、評価データソース、タスクシナリオ、および手法に関する既存の研究を統合することで検討する。医療LLMの評価における重要な課題を特定し、臨床的安全性と有効性を確保するための標準的で信頼性の高い評価フレームワークの構築を要請する。

ABSTRACT

Large language models (LLMs) have emerged as powerful tools with transformative potential across numerous domains, including healthcare and medicine. In the medical domain, LLMs hold promise for tasks ranging from clinical decision support to patient education. However, evaluating the performance of LLMs in medical contexts presents unique challenges due to the complex and critical nature of medical information. This paper provides a comprehensive overview of the landscape of medical LLM evaluation, synthesizing insights from existing studies and highlighting evaluation data sources, task scenarios, and evaluation methods. Additionally, it identifies key challenges and opportunities in medical LLM evaluation, emphasizing the need for continued research and innovation to ensure the responsible integration of LLMs into clinical practice.

研究の動機と目的

• 医療文脈における大規模言語モデル（LLMs）の評価に関する現在のアプローチを包括的に要約すること。
• 医療LLM研究で用いられる主要な評価データソースを特定・分類すること。
• 臨床意思決定支援、診断、患者教育などの一般的なタスクシナリオを分析すること。
• 自動評価指標と人間によるアノテーションの両方を含む、既存の評価手法を検討すること。
• 臨床現場への責任ある導入を促進するための、主な課題と今後の研究ニーズを強調すること。

提案手法

• 文献から得られる医療LLM評価に関する既存研究を体系的レビューし、要約すること。
• 臨床データセット、合成データ、パブリックベンチマークに分類して評価データソースを分類すること。
• 臨床的推論、ドキュメンテーション、患者との対話、知識の根拠化に分類してタスクシナリオを分類すること。
• 自動化された指標（例：BLEU、ROUGE）、事実性スコアリング、人間による評価プロトコルを含む評価手法の分析。
• 手法的アプローチの比較分析を通じて、現在の評価実践におけるギャップを同定すること。
• データ品質、幻覚現象、臨床的セーフティなどの課題を要約し、今後の研究に向けた提言を行うこと。

実験結果

リサーチクエスチョン

• RQ1 医療応用におけるLLMの評価に主に用いられるデータソースは何か？
• RQ2 現在の医療LLM研究で最も一般的に評価されている臨床的タスクは何か？
• RQ3 主に用いられる評価手法は何か？また、それらの信頼性と妥当性はどのように比較できるか？
• RQ4 医療用途のLLM評価における主な課題は何か？それらは臨床的信頼性にどのように影響を与えるか？
• RQ5 医療現場への安全かつ効果的な導入を支援するための、評価フレームワークの改善の機会は何か？

主な発見

• 医療LLMの評価には、実際の臨床記録、合成データ、およびキュレートされたベンチマークなど、多様なデータソースが用いられている。
• 一般的な評価タスクには、臨床的質問への対応、医療コード化、患者への応答生成が含まれる。
• BLEU や ROUGE などの自動指標は、臨床的関連性と限定的な相関関係を示しており、より良い評価基準の必要性が浮き彫りになっている。
• 人間による評価は依然としてゴールドスタンダードであるが、リソースを多く要し、研究間で一貫性に欠ける。
• 幻覚現象や事実の不正確さは、特に複雑な診断的推論タスクにおいて持続的な課題である。
• 標準化された評価プロトコルの欠如により、再現性の確保と臨床現場での採用が阻害されている。