[論文レビュー] Evaluation of AI Chatbots for Patient-Specific EHR Questions

Alaleh Hamidi, Kirk Roberts|arXiv (Cornell University)|Jun 5, 2023

Artificial Intelligence in Healthcare and Education被引用数 8

ひとこと要約

本論文は ChatGPT 3.5、Claude、その他の大規模言語モデル（LLM）を、非特定化された MIMIC-III 入院ノートからの患者特異的 QA に適用し、正確で関連性が高く、包括的で、整合性のある回答を提供できることを示す一方で、より広範な検証と整合性向上のための追加作業が必要であると結論付けている。

ABSTRACT

This paper investigates the use of artificial intelligence chatbots for patient-specific question answering (QA) from clinical notes using several large language model (LLM) based systems: ChatGPT (versions 3.5 and 4), Google Bard, and Claude. We evaluate the accuracy, relevance, comprehensiveness, and coherence of the answers generated by each model using a 5-point Likert scale on a set of patient-specific questions.

研究の動機と目的

• 臨床ノートから患者特異的な質問に答えるAIチャットボットの活用を動機づけ、EHR情報の利用可能性を向上させる。
• チャットボットが生成する回答の正確さ、関連性、包括性、整合性を評価する。
• 標準化された評価フレームワークを用いて、プロンプトシナリオと質問タイプ間の性能を比較する。

提案手法

• 公開MIMIC-III サブセット（TREC CDS 2016）からの入院ノートをソースノートとして使用する。
• 各ノートについて3つの質問カテゴリ（一般、特定、非回答可能）を作成し、各カテゴリ5問ずつ設定する。
• 2つのセッションシナリオをテストする。1セッションあたり1問（1QpS）と1トピックあたり1つ（1TpS）。
• 人間の評価者を用いて、正確さ、関連性、網羅性、整合性の4指標を1–5段階で評価する。
• セッションタイプ、質問タイプ、モデル間の統計的差を判断するために Kruskal-Wallis検定を適用する。

実験結果

リサーチクエスチョン

• RQ1 臨床ノートから患者特異的な質問にLLMベースのチャットボットは正確に答えられるか。
• RQ2 異なるセッション設定（1QpS vs 1TpS）は回答品質に影響を与えるか。
• RQ3 質問タイプ（一般、特定、非回答可能）が正確さ、関連性、網羅性、整合性に与える影響は。
• RQ4 異なるモデル（ChatGPT 3.5/4、Claude、Bard）はこのタスクで差異のある性能を示すか。
• RQ5 評価指標とサンプルサイズの頑健性はどうか。

主な発見

• ChatGPT 3.5と Claude は、質問タイプおよびシナリオを問わず、正確で関連性が高く、包括的で整合性のある回答を生成した。
• Kruskal-Wallis検定では、セッションシナリオ、質問タイプ、AIモデルによる統計的に有意な差は認められなかった（p > 0.05）。
• 一般、特定、非回答可能の各質問に対して、1QpSおよび1TpSの両シナリオで平均的な正確さ、関連性、網羅性、整合性が高水準を維持した（具体的な数値は研究表に記載）。
• 本研究は小規模データセットを対象とし、評価は単一評価者によって行われたため、バイアスの可能性があり、より広範な検証が必要である。
• 結果は、臨床ノートからの患者特異的QAに対してLLMsに有望性を示すが、網羅性と整合性を改善し、より多くのモデルと大規模データセットを評価する追加作業が必要であることを示唆する。