[論文レビュー] Clinical Validation of Medical-based Large Language Model Chatbots on Ophthalmic Patient Queries with LLM-based Evaluation

Ting Fang Tan, Kabilan Elangovan+14 more|arXiv (Cornell University)|Feb 5, 2026

Artificial Intelligence in Healthcare and Education被引用数 0

ひとこと要約

この論文は、4つの小型医療系LLMを用いて眼科の患者質問を実証的に評価し、LLMベースの評価と臨床医の評価を比較して安全性・合意・臨床的深さを評価する。

ABSTRACT

Domain specific large language models are increasingly used to support patient education, triage, and clinical decision making in ophthalmology, making rigorous evaluation essential to ensure safety and accuracy. This study evaluated four small medical LLMs Meerkat-7B, BioMistral-7B, OpenBioLLM-8B, and MedLLaMA3-v20 in answering ophthalmology related patient queries and assessed the feasibility of LLM based evaluation against clinician grading. In this cross sectional study, 180 ophthalmology patient queries were answered by each model, generating 2160 responses. Models were selected for parameter sizes under 10 billion to enable resource efficient deployment. Responses were evaluated by three ophthalmologists of differing seniority and by GPT-4-Turbo using the S.C.O.R.E. framework assessing safety, consensus and context, objectivity, reproducibility, and explainability, with ratings assigned on a five point Likert scale. Agreement between LLM and clinician grading was assessed using Spearman rank correlation, Kendall tau statistics, and kernel density estimate analyses. Meerkat-7B achieved the highest performance with mean scores of 3.44 from Senior Consultants, 4.08 from Consultants, and 4.18 from Residents. MedLLaMA3-v20 performed poorest, with 25.5 percent of responses containing hallucinations or clinically misleading content, including fabricated terminology. GPT-4-Turbo grading showed strong alignment with clinician assessments overall, with Spearman rho of 0.80 and Kendall tau of 0.67, though Senior Consultants graded more conservatively. Overall, medical LLMs demonstrated potential for safe ophthalmic question answering, but gaps remained in clinical depth and consensus, supporting the feasibility of LLM based evaluation for large scale benchmarking and the need for hybrid automated and clinician review frameworks to guide safe clinical deployment.

研究の動機と目的

• 眼科領域に特化したLLMチャットボットの安全性・正確性・臨床的有用性を評価する。
• 臨床医の評価に対するベンチマーク手法としてのLLMベース評価の実現可能性を評価する。
• モデル回答の臨床的深さ・合意・潜在的幻覚のギャップを特定する。
• パラメータが10B未満のモデルを選択し、資源効率的な展開を検討する。

提案手法

• 各モデルで眼科の患者質問180件に回答させ、2160件の回答を生成する。
• 3名の眼科医（異なる上級度）のGPT-4-Turboとともに、S.C.O.R.E.フレームワークに基づき5段階リッカート尺度で回答を評価する。
• LLMと臨床医の評価を比較するためにスピアマン順位相関・ケンドールτ・カーネル密度推定を用いる。
• 資源効率的な展開のため、パラメータサイズが100億以下のモデルを選択する。

実験結果

リサーチクエスチョン

• RQ1 小型医療LLMは安全で臨床的に有用な眼科回答を提供できるか。
• RQ2 眼科の質問に対するLLMベースの評価は臨床医の評価とどの程度一致するか。
• RQ3 モデル間で幻覚や臨床的に誤解を招く内容の割合はどの程度か。
• RQ4 眼科の医療チャットボットを大規模に評価する際、LLMベースのベンチマークは実現可能か。

主な発見

• Meerkat-7BはSenior Consultants、Consultants、Residentsそれぞれで最高の平均スコアを達成（3.44、4.08、4.18）。
• MedLLaMA3-v20は幻覚や臨床的に誤導する内容を含む回答が25.5%と最も低い性能。
• GPT-4-Turboの評価は臨床医の評価と強い整合を示す（スピアマン0.80、ケンドールτ0.67）が、Senior Consultantsの評価は保守的。
• 医療LLMは眼科QAの安全性には潜在能力を示すが、臨床的深さと合意にはまだギャップが残る。
• LLMベースの評価は大規模ベンチマークに実現可能で、自動化＋臨床医のハイブリッド審査体制を支持する。