[論文レビュー] Large language models in medicine: the potentials and pitfalls

Jesutofunmi A. Omiye, Haiwen Gui+3 more|arXiv (Cornell University)|Aug 31, 2023

Artificial Intelligence in Healthcare and Education参考文献 68被引用数 6

ひとこと要約

この論文は、医療分野における大規模言語モデル（LLM）の包括的レビューを提供し、医療的推論、患者とのコミュニケーション、診断支援などの臨床的タスクにおけるその能力を説明するとともに、幻覚現象、バイアス、解釈不能性といった深刻なリスクを強調している。本論文は、医療従事者がLLMを理解し、評価し、責任ある形で臨床ワークフローに統合するためのチュートリアルとして機能する。

ABSTRACT

Large language models (LLMs) have been applied to tasks in healthcare, ranging from medical exam questions to responding to patient questions. With increasing institutional partnerships between companies producing LLMs and healthcare systems, real world clinical application is coming closer to reality. As these models gain traction, it is essential for healthcare practitioners to understand what LLMs are, their development, their current and potential applications, and the associated pitfalls when utilized in medicine. This review and accompanying tutorial aim to give an overview of these topics to aid healthcare practitioners in understanding the rapidly changing landscape of LLMs as applied to medicine.

研究の動機と目的

• 臨床現場における大規模言語モデル（LLM）の基礎的知識、能力、限界を医療従事者に教育すること。
• 臨床意思決定支援、患者対応、医療教育を含む、LLMの現在および将来の応用を分析すること。
• 幻覚現象、バイアス、LLM出力の透明性欠如といった主なリスクを特定し、それらを議論すること。
• 構造的なチュートリアルフレームワークを通じて、臨床医がLLMを責任ある形で採用・評価するのを支援すること。
• 倫理的・技術的・実務的課題に言及することで、AI開発と臨床実装のギャップを埋めること。

提案手法

• 医療分野におけるLLM応用に関する既存文献の体系的レビューと統合。
• 臨床的推論、文書作成、患者コミュニケーションを含む、医療分野におけるLLMユースケースの分類。
• 性能と信頼性に焦点を当てた、事例研究および実世界の例を通じたモデル行動の分析。
• 事実の幻覚現象、データバイアス、解釈不能性といったリスクを、臨床的安全性基準を用いて評価。
• 臨床医がLLMを責任ある形で評価・導入できるよう支援するチュートリアルフレームワークの開発。
• LLM開発者と医療機関との間の提携によるイン사이트を統合し、実用的導入を支援。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルの主な臨床的応用は何か？
• RQ2 大規模言語モデルは、医師国家試験の問題解答や患者の質問への対応といったタスクでどの程度の性能を示すか？
• RQ3 特に安全性と信頼性の観点から、臨床現場にLLMを導入するにあたり、どのような主なリスクが伴うか？
• RQ4 医療従事者は、LLM出力における幻覚現象やバイアスのリスクをどのように評価し、軽減できるか？
• RQ5 LLMを臨床ワークフローに責任ある形で統合するためには、どのようなフレームワークやガイドラインが必要か？

主な発見

• LLMは、国家試験形式の問題に対する医療的推論タスクで優れた性能を示しているが、顕著な誤差率を伴う。
• LLMは患者とのコミュニケーションや臨床文書作成の支援に効果的に機能し、医療従事者の文書作成負担を軽減できる。
• 深刻なリスクとして、複雑な診断状況において、信ぴょう性の高いが誤った情報を生成する（幻覚現象）ことがある。
• トレーニングデータのバイアスは、異なる人口統計的グループ間でのモデル性能の格差を引き起こし、公平性の懸念を生じさせる。
• LLMの意思決定プロセスにおける解釈不能性と透明性の欠如は、臨床的信頼性の低下と規制承認の障壁をもたらす。
• LLM開発者と医療機関との提携が、実世界での臨床的導入を加速しているが、厳密な安全性の検証が不可欠である。