[논문 리뷰] EyeGPT: Ophthalmic Assistant with Large Language Models

Xiaolan Chen, Ziwei Zhao외 8명|arXiv (Cornell University)|2024. 02. 29.

Retinal Imaging and Analysis인용 수 4

한 줄 요약

EyeGPT는 역할 수행, 피팅 조정, 검색 기반 생성을 통합하여 임상 성능을 향상시킨 안과 전문 대규모 언어 모델이다. 이 모델은 인간 수준의 이해 가능성, 신뢰성, 공감 능력을 확보하며 일반 LLM과 비교해 환각율이 크게 감소했다.

ABSTRACT

Artificial intelligence (AI) has gained significant attention in healthcare consultation due to its potential to improve clinical workflow and enhance medical communication. However, owing to the complex nature of medical information, large language models (LLM) trained with general world knowledge might not possess the capability to tackle medical-related tasks at an expert level. Here, we introduce EyeGPT, a specialized LLM designed specifically for ophthalmology, using three optimization strategies including role-playing, finetuning, and retrieval-augmented generation. In particular, we proposed a comprehensive evaluation framework that encompasses a diverse dataset, covering various subspecialties of ophthalmology, different users, and diverse inquiry intents. Moreover, we considered multiple evaluation metrics, including accuracy, understandability, trustworthiness, empathy, and the proportion of hallucinations. By assessing the performance of different EyeGPT variants, we identify the most effective one, which exhibits comparable levels of understandability, trustworthiness, and empathy to human ophthalmologists (all Ps>0.05). Overall, ur study provides valuable insights for future research, facilitating comprehensive comparisons and evaluations of different strategies for developing specialized LLMs in ophthalmology. The potential benefits include enhancing the patient experience in eye care and optimizing ophthalmologists' services.

연구 동기 및 목표

• 일반 목적의 LLM보다 임상적 관련성과 정확도에서 뛰어난 안과 전문 대규모 언어 모델을 개발하는 것.
• 일반 LLM이 안과 분야의 복잡한 전문 의료 정보를 처리하는 데에 한계를 보이는 문제를 해결하는 것.
• 정확도, 공감 능력, 환각율 등 다양한 차원에서 안과 LLM을 평가하기 위한 종합적인 평가 프레임워크를 설계하고 평가하는 것.
• 임상 현장 적용을 위한 최적의 최적화 전략 조합(역할 수행, 피팅 조정, 검색 기반 생성)을 규명하는 것.
• 안과 분야의 다양한 전문 분야에 걸쳐 다양한 의도를 가진 평가 데이터셋을 제공함으로써 향후 전문 의료 LLM 연구를 위한 기준을 마련하는 것.

제안 방법

• 추론 중 전문 안과 전문의의 행동을 시뮬레이션하기 위해 역할 수행 프롬프팅을 적용했다.
• 안과 임상 질문과 답변의 정제된 데이터셋을 기반으로 도메인 특화 피팅 조정을 수행했다.
• 안과 전용 지식 기반을 활용해 검색 기반 생성(RAG)을 통합하여 사실 일관성을 향상시켰다.
• 정확도, 이해 가능성, 신뢰성, 공감 능력, 환각 탐지 등을 포함한 다차원 평가 프레임워크를 설계했다.
• 다양한 안과 전문 분야, 사용자 유형, 질문 의도를 포함하는 다각도의 데이터셋을 활용해 강력한 평가를 확보했다.
• 자동 평가 지표와 인간 평가를 병행하여 모델 변형의 성능을 인간 안과 전문의와 비교 검증했다.

실험 결과

연구 질문

• RQ1 높은 성능의 안과 LLM을 구축하기 위해 역할 수행, 피팅 조정, 검색 기반 생성 전략의 최적 조합은 무엇인가?
• RQ2 특화된 LLM이 이해 가능성, 신뢰성, 공감 능력 면에서 인간 안과 전문의와 어느 정도 수준까지 동등하게 성능을 내는가?
• RQ3 다양한 LLM 변형은 안과 상담에서 임상 정확도를 유지하면서 환각을 얼마나 줄일 수 있는가?
• RQ4 피팅 조정과 검색 기반 생성을 통합한 LLM은 다양한 환자 질문 유형과 전문 분야에서 인간 전문가와 유사한 성능을 달성할 수 있는가?
• RQ5 안과 분야에서 LLM의 신뢰성과 임상적 사용 가능성을 좌우하는 핵심 요인은 무엇인가?

주요 결과

• 최적화된 EyeGPT 변형은 인간 안과 전문의와 통계적으로 구분되지 않을 정도로 이해 가능성, 신뢰성, 공감 능력에서 유사한 성능을 보였다 (모든 p > 0.05).
• 역할 수행, 피팅 조정, 검색 기반 생성의 조합이 기준 LLM보다 환각율을 유의미하게 감소시켰다.
• EyeGPT는 녹내증, 망막 질환, 시력 교정 수술 등 다양한 안과 전문 분야에서 높은 정확도를 보였다.
• 인간 평가 결과, 모델의 응답은 인간 전문가의 응답과 유사하게 매우 높은 수준의 신뢰성과 공감 능력을 갖춘 것으로 평가되었으며, 유의미한 차이가 없었다.
• 종합적인 평가 프레임워크는 정확도를 넘어서 환자 중심 소통 능력과 같은 미세한 성능 차원을 성공적으로 파악했다.
• 본 연구는 안과 및 기타 의료 분야에서 전문 LLM 개발 및 평가를 위한 검증된 기준과 방법론을 제공한다.