[論文レビュー] The Potential and Pitfalls of using a Large Language Model such as ChatGPT or GPT-4 as a Clinical Assistant

Jingqing Zhang, Kai Sun+6 more|arXiv (Cornell University)|Jul 16, 2023

Artificial Intelligence in Healthcare and Education被引用数 7

ひとこと要約

本研究では、実際の電子歴史記録（EHR）と模擬患者症例を用いて、GPT-4およびChatGPTを臨床アシスタントとして評価した。GPT-4は、チェーン・オブ・トゥーク（chain-of-thought）およびフェイント・ショット（few-shot）プロンプト技術を用いることで、疾患分類において最大96％のF1スコアを達成したが、事実誤認、見逃された所見、過剰治療のリスクを示しており、スケーラビリティの可能性はあるものの、現在の臨床的有用性は制限されている。

ABSTRACT

Recent studies have demonstrated promising performance of ChatGPT and GPT-4 on several medical domain tasks. However, none have assessed its performance using a large-scale real-world electronic health record database, nor have evaluated its utility in providing clinical diagnostic assistance for patients across a full range of disease presentation. We performed two analyses using ChatGPT and GPT-4, one to identify patients with specific medical diagnoses using a real-world large electronic health record database and the other, in providing diagnostic assistance to healthcare workers in the prospective evaluation of hypothetical patients. Our results show that GPT-4 across disease classification tasks with chain of thought and few-shot prompting can achieve performance as high as 96% F1 scores. For patient assessment, GPT-4 can accurately diagnose three out of four times. However, there were mentions of factually incorrect statements, overlooking crucial medical findings, recommendations for unnecessary investigations and overtreatment. These issues coupled with privacy concerns, make these models currently inadequate for real world clinical use. However, limited data and time needed for prompt engineering in comparison to configuration of conventional machine learning workflows highlight their potential for scalability across healthcare applications.

研究の動機と目的

• 大規模な実世界の電子歴史記録（EHR）データベースを用いて、GPT-4およびChatGPTが特定の医学的診断を同定する性能を評価すること。
• これらの大規模言語モデル（LLM）が、仮想の患者症例に対して医療専門家に診断支援を提供する有用性を評価すること。
• LLMを臨床現場に導入する際の、事実誤認、臨床的推論の欠陥、およびプライバシーリスクを含む倫理的懸念を特定・分析すること。
• プロンプト工学と従来の機械学習ワークフローの間で、データおよび時間の要件を比較し、スケーラビリティの可能性を評価すること。

提案手法

• GPT-4にチェーン・オブ・トゥークおよびフェイント・ショットプロンプトを適用し、大規模な実世界のEHRデータベースを用いて、疾患分類のトレーニングおよび評価を、後向きに分析した。
• GPT-4が臨床ノートおよび症状に基づいて仮想の患者症例を評価するようプロンプトされた前向きのシミュレーション研究を設計した。
• 分類タスクにおけるモデルの整合性および診断精度を向上させるために、フェイント・ショットプロンプトおよびチェーン・オブ・トゥーク推論を採用した。
• F1スコアの算出および臨床的推論の質の評価のため、モデル出力結果をゴールドスタンダードの臨床的診断と照合した。
• 事実誤認、重要な所見の見過ごし、不要な検査や治療の勧告を含む、モデル出力における誤りを特定・分類した。
• LLMとの対話によるEHRデータの露出に起因する、プライバシーおよびセキュリティ上の懸念を評価した。

実験結果

リサーチクエスチョン

• RQ1 GPT-4は、プロンプト工学技術を用いることで、実世界のEHRデータから疾患分類において高い診断精度を達成できるか？
• RQ2 GPT-4は、標準的な臨床的推論と比較して、仮想の患者症例に対する臨床的診断支援において、どのように機能するか？
• RQ3 GPT-4を臨床アシスタントとして使用する際、どのような種類の事実的誤認、臨床的誤り、倫理的誤りが生じるか？
• RQ4 プロンプト工学のためのデータおよび時間の要件は、医療分野における従来の機械学習パイプライン開発と比較して、どのように異なるか？

主な発見

• GPT-4は、実際のEHRデータに対してチェーン・オブ・トゥークおよびフェイント・ショットプロンプトを適用した際、疾患分類タスクで最大96％のF1スコアを達成した。
• 前向きの患者症例評価において、GPT-4は4件中3件の症例を正確に診断し、強力な診断可能性を示した。
• モデルは多数の応答で事実誤認を示しており、臨床的所見やガイドラインの誤解を含むものも含まれた。
• GPT-4は、患者要約において、禁忌や合併症といった重要な医学的情報を頻繁に見逃した。
• 複数の症例で、不要な検査や治療を勧告しており、過剰治療のリスクを示している。
• プライバシー上の懸念は依然として主要な障壁であり、LLMとの対話によって機微なEHRデータが暴露される可能性があり、実世界への導入を制限している。