[논문 리뷰] Evaluating large language models in medical applications: a survey

Xiaolan Chen, Jiayang Xiang외 4명|arXiv (Cornell University)|2024. 05. 13.

Artificial Intelligence in Healthcare and Education인용 수 4

한 줄 요약

이 종합 검토는 평가 데이터 소스, 작업 시나리오, 평가 방법론을 종합함으로써 의료 분야에서의 대규모 언어 모델(Large Language Models, LLMs) 평가를 평가한다. 의료 LLM 평가의 핵심 과제를 규명하고 임상적 안전성과 효과성을 보장하기 위해 표준화되고 신뢰할 수 있는 평가 프레임워크의 필요성을 제기한다.

ABSTRACT

Large language models (LLMs) have emerged as powerful tools with transformative potential across numerous domains, including healthcare and medicine. In the medical domain, LLMs hold promise for tasks ranging from clinical decision support to patient education. However, evaluating the performance of LLMs in medical contexts presents unique challenges due to the complex and critical nature of medical information. This paper provides a comprehensive overview of the landscape of medical LLM evaluation, synthesizing insights from existing studies and highlighting evaluation data sources, task scenarios, and evaluation methods. Additionally, it identifies key challenges and opportunities in medical LLM evaluation, emphasizing the need for continued research and innovation to ensure the responsible integration of LLMs into clinical practice.

연구 동기 및 목표

• 의료 맥락에서 대규모 언어 모델(LLMs) 평가를 위한 현재 접근 방식을 종합적으로 개괄하는 것.
• 의료 LLM 연구에서 사용되는 주요 평가 데이터 소스를 식별하고 분류하는 것.
• 임상 의사결정 지원, 진단, 환자 교육과 같은 일반적인 작업 시나리오를 분석하는 것.
• 자동 평가 지표와 인간 평가 방법을 포함한 기존 평가 방법을 검토하는 것.
• 임상 현장에 책임감 있게 도입하기 위한 평가 과제와 향후 연구 필요성을 부각하는 것.

제안 방법

• 의료 LLM 평가에 관한 기존 연구를 체계적으로 검토하고 종합하는 것.
• 임상 데이터셋, 합성 데이터, 공개 벤치마크로 나누어 평가 데이터 소스를 분류하는 것.
• 임상 추론, 문서 작성, 환자 상호작용, 지식 기반 작업으로 나누어 작업 시나리오를 분류하는 것.
• 자동 평가 지표(예: BLEU, ROUGE), 사실성 평가 점수, 인간 평가 프로토콜을 포함한 평가 방법을 분석하는 것.
• 다양한 방법론적 접근 방식을 비교 분석하여 현재 평가 관행의 격차를 규명하는 것.
• 데이터 품질, 환상(Hallucination), 임상 안전성과 같은 과제를 종합적으로 분석하고 향후 연구를 위한 권고안을 제시하는 것.

실험 결과

연구 질문

• RQ1 의료 응용 분야에서 LLM을 평가하는 데 주로 사용되는 데이터 소스는 무엇인가요?
• RQ2 현재 의료 LLM 연구에서 가장 흔히 평가되는 임상 작업는 무엇인가요?
• RQ3 주로 사용되는 평가 방법은 무엇이며, 그 신뢰성과 타당성은 어떻게 비교될 수 있나요?
• RQ4 의료용 LLM 평가에서 주요 과제는 무엇이며, 임상 신뢰성에 어떤 영향을 미치나요?
• RQ5 의료 현장에서 안전하고 효과적으로 도입하기 위해 평가 프레임워크를 어떻게 개선할 수 있을까요?

주요 결과

• 의료 LLM 평가에 다양한 종류의 데이터 소스가 사용되고 있으며, 실제 임상 기록, 합성 데이터, 정제된 벤치마크가 포함된다.
• 일반적인 평가 작업으로는 임상 질문에 대한 응답, 의료 코드 부여, 환자 응답 생성 등이 있다.
• BLEU 및 ROUGE와 같은 자동 평가 지표는 임상적 관련성과의 상관관계가 제한적이며, 더 나은 평가 기준이 필요함을 시사한다.
• 인간 평가는 여전히 금표로 간주되지만 자원 소모가 크고 연구 간 일관성이 떨어진다.
• 환상과 사실 오류는 특히 복잡한 진단 추론 작업에서 끈질리게 지속되는 과제이다.
• 표준화된 평가 프로토콜의 부재로 재현성과 임상 적용에 장애가 존재한다.