[論文レビュー] Stochastic Parrots or ICU Experts? Large Language Models in Critical Care Medicine: A Scoping Review

Tongyue Shi, Jun Ma+7 more|arXiv (Cornell University)|Jul 27, 2024

Machine Learning in Healthcare被引用数 4

ひとこと要約

本スコープレビューは、2019年から2024年までの24件の研究を分析し、大規模言語モデル（LLM）が救命医療医学（CCM）に応用される状況を調査している。LLMは、臨床意思決定支援、文書作成、医療教育分野で有望な成果を示しているが、幻覚現象、解釈不能性、バイアス、倫理的リスクといった課題に直面しており、信頼性の向上、知識統合、倫理的フレームワークの整備が求められている。

ABSTRACT

With the rapid development of artificial intelligence (AI), large language models (LLMs) have shown strong capabilities in natural language understanding, reasoning, and generation, attracting amounts of research interest in applying LLMs to health and medicine. Critical care medicine (CCM) provides diagnosis and treatment for critically ill patients who often require intensive monitoring and interventions in intensive care units (ICUs). Can LLMs be applied to CCM? Are LLMs just like stochastic parrots or ICU experts in assisting clinical decision-making? This scoping review aims to provide a panoramic portrait of the application of LLMs in CCM. Literature in seven databases, including PubMed, Embase, Scopus, Web of Science, CINAHL, IEEE Xplore, and ACM Digital Library, were searched from January 1, 2019, to June 10, 2024. Peer-reviewed journal and conference articles that discussed the application of LLMs in critical care settings were included. From an initial 619 articles, 24 were selected for final review. This review grouped applications of LLMs in CCM into three categories: clinical decision support, medical documentation and reporting, and medical education and doctor-patient communication. LLMs have advantages in handling unstructured data and do not require manual feature engineering. Meanwhile, applying LLMs to CCM faces challenges, including hallucinations, poor interpretability, bias and alignment challenges, and privacy and ethics issues. Future research should enhance model reliability and interpretability, integrate up-to-date medical knowledge, and strengthen privacy and ethical guidelines. As LLMs evolve, they could become key tools in CCM to help improve patient outcomes and optimize healthcare delivery. This study is the first review of LLMs in CCM, aiding researchers, clinicians, and policymakers to understand the current status and future potentials of LLMs in CCM.

研究の動機と目的

• 大規模言語モデル（LLM）の救命医療医学（CCM）における応用状況を把握すること。
• 臨床意思決定支援、医療文書作成、医療教育といった分野におけるLLMの主な応用分野を特定すること。
• 高リスクのICU環境におけるLLMの導入に伴う利点とリスクを評価すること。
• 幻覚現象、解釈不能性、バイアス、倫理的懸念といった、臨床的LLM利用における重要な課題を強調すること。
• 今後の研究を導くための優先課題を提示すること——モデルの信頼性、リアルタイムでの知識統合、厳密なプライバシーおよび倫理基準。

提案手法

• 7つのデータベース（PubMed、Embase、Scopus、Web of Science、CINAHL、IEEE Xplore、ACM Digital Library）を対象とした体系的サーチを実施した。
• 被 inclusion 標準：2019年1月1日から2024年6月10日までに発表された、peer-reviewedのジャーナルおよび会議録論文で、CCMにおけるLLMの応用に焦点を当てたもの。
• タイトル／要旨スクリーニングおよび全文レビューを通じて619件の論文をスクリーニングし、最終的な分析に用いたのは24件の研究であった。
• LLMの応用を3つの分野に分類した：臨床意思決定支援、医療文書作成およびレポート作成、医療教育および医師・患者間のコミュニケーション。
• 主題的アプローチで研究結果を統合し、ICU内でのLLM導入における技術的・倫理的・臨床的課題に焦点を当てた。
• 信頼性、解釈可能性、倫理的ガバナンスの分野におけるギャップを踏まえ、今後の研究に向けた提言を提示した。

実験結果

リサーチクエスチョン

• RQ1 最近の文献で報告された救命医療医学における大規模言語モデルの主な応用は何か？
• RQ2 大規模言語モデルは、集中治療科環境における非構造化臨床データをどのように処理しているか？
• RQ3 ICU環境へのLLM導入に関連する主な技術的および倫理的課題は何か？
• RQ4 LLMは、救命医療における臨床意思決定、文書作成の効率化、医療教育の向上にどの程度寄与しているか？
• RQ5 LLMの安全性、信頼性、倫理的利用を向上させるために、今後の研究でどの方向に進むべきか？

主な発見

• LLMは、CCMの応用において非構造化臨床データの処理に優れた能力を示し、手動による特徴量抽出の必要性を低減した。
• CCMにおけるLLMの大多数の応用は、3つの分野に分類された：臨床意思決定支援（例：診断や治療の提案）、医療文書作成（例：自動ノート生成）、医療教育（例：トレーニングおよびコミュニケーションツール）。
• 幻覚現象——事実と異なる、あるいは捏造された臨床情報の生成——は、複数の研究で顕著なリスクとして浮上し、特に診断や治療提案タスクにおいて顕著であった。
• モデルの解釈不能性と推論プロセスの透明性の欠如は、臨床現場での信頼性と採用の障壁として一貫して指摘された。
• トレーニングデータのバイアスと臨床ガイドラインとの不整合は、出力の公平性と安全性に影響を及ぼす主なリスクとして特定された。
• 患者データの漏洩や規制監査の不在といった、プライバシーおよび倫理的懸念は、実世界への導入を阻害する主要な障壁として頻繁に提起された。