[論文レビュー] EyeGPT: Ophthalmic Assistant with Large Language Models

Xiaolan Chen, Ziwei Zhao+8 more|arXiv (Cornell University)|Feb 29, 2024

Retinal Imaging and Analysis被引用数 4

ひとこと要約

EyeGPT は、ロールプレイ、ファインチューニング、リtrieval-augmented generation を統合することで、臨床的パフォーマンスを向上させる、眼科に特化した大規模言語モデルである。EyeGPT は、人間の眼科医と同等の理解性、信頼性、共感性を達成しており、一般の大規模言語モデルと比較して幻覚の発生率が顕著に低減されている。

ABSTRACT

Artificial intelligence (AI) has gained significant attention in healthcare consultation due to its potential to improve clinical workflow and enhance medical communication. However, owing to the complex nature of medical information, large language models (LLM) trained with general world knowledge might not possess the capability to tackle medical-related tasks at an expert level. Here, we introduce EyeGPT, a specialized LLM designed specifically for ophthalmology, using three optimization strategies including role-playing, finetuning, and retrieval-augmented generation. In particular, we proposed a comprehensive evaluation framework that encompasses a diverse dataset, covering various subspecialties of ophthalmology, different users, and diverse inquiry intents. Moreover, we considered multiple evaluation metrics, including accuracy, understandability, trustworthiness, empathy, and the proportion of hallucinations. By assessing the performance of different EyeGPT variants, we identify the most effective one, which exhibits comparable levels of understandability, trustworthiness, and empathy to human ophthalmologists (all Ps>0.05). Overall, ur study provides valuable insights for future research, facilitating comprehensive comparisons and evaluations of different strategies for developing specialized LLMs in ophthalmology. The potential benefits include enhancing the patient experience in eye care and optimizing ophthalmologists' services.

研究の動機と目的

• 一般向け大規模言語モデルより臨床的関連性と正確性において優れるように、眼科に特化した大規模言語モデルを開発すること。
• 一般の大規模言語モデルが、眼科分野の複雑でドメイン特化された医療情報を取り扱う際の限界を解消すること。
• 正確性、共感性、幻覚発生率の複数の次元にわたる、眼科用大規模言語モデルの評価フレームワークを設計・評価すること。
• 臨床現場への導入に最適な最適な最適化戦略の組み合わせ（ロールプレイ、ファインチューニング、リtrieval-augmented generation）を同定すること。
• 眼科の亜専門分野にわたり、多様で意図の異なる評価データセットを導入することで、今後の専門的医療大規模言語モデル研究のベンチマークを提供すること。

提案手法

• 推論時に専門的眼科医の行動を模倣するためにロールプレイプロンプティングを採用した。
• 眼科臨床クエリおよび応答のキュレート済みデータセットを用いてドメイン特化型のファインチューニングを実施した。
• 眼科専用の知識ベースを用いたリtrieval-augmented generation (RAG) を統合し、事実の整合性を向上させた。
• 正確性、理解性、信頼性、共感性、幻覚検出を含む、多次元評価フレームワークを設計した。
• 多様な眼科亜専門分野、ユーザー種別、照会の意図をカバーするデータセットを活用し、評価の堅牢性を確保した。
• 自動指標と人間によるアノテーションの両方を用いて、モデルのバリエーションを人間の眼科医と比較して性能を検証した。

実験結果

リサーチクエスチョン

• RQ1 眼科用高パフォーマンス大規模言語モデルを構築するにあたり、ロールプレイ、ファインチューニング、リtrieval-augmented generation の最適な組み合わせは何か？
• RQ2 専門的大規模言語モデルは、理解性、信頼性、共感性において、どの程度人間の眼科医に匹敵できるか？
• RQ3 異なる大規模言語モデルのバリエーションは、眼科の診察において正確性を維持しつつ、幻覚をどの程度低減できるか？
• RQ4 ファインチューニングおよびリtrieval-augmented 大規模言語モデルは、多様な患者の照会タイプや亜専門分野において、人間の専門家と同等のパフォーマンスを達成できるか？
• RQ5 眼科における大規模言語モデルの信頼性と臨床的有用性に影響を与える主な要因は何か？

主な発見

• 最適化された EyeGPT バージョンは、人間の眼科医と比較して理解性、信頼性、共感性の面で統計的に差がない水準に達した（すべて p > 0.05）。
• ロールプレイ、ファインチューニング、リtrieval-augmented generation の組み合わせにより、ベースラインの大規模言語モデルと比較して幻覚発生率が顕著に低減された。
• EyeGPT は、緑内障、網膜疾患、屈折矯正手術など、多様な眼科亜専門分野において高い正確性を示した。
• 人間による評価では、モデルの回答が人間の専門家と同等に高く信頼され、共感的であると評価され、差は有意ではなかった。
• 包括的な評価フレームワークは、正確性を超えた、患者中心のコミュニケーション特性のような微細なパフォーマンス次元を効果的に捉えた。
• 本研究は、眼科および他の医療分野における専門的大規模言語モデルの開発と評価に向けた検証済みベンチマークとメソドロジーを提供した。