[논문 리뷰] CMB: A Comprehensive Medical Benchmark in Chinese

Xidong Wang, Guiming Hardy Chen외 9명|arXiv (Cornell University)|2023. 08. 17.

Machine Learning in Healthcare인용 수 4

한 줄 요약

이 논문은 중국의 고유한 언어적 및 문화적 의료 환경에서 대규모 언어 모델(Large Language Models, LLMs)을 평가하기 위해 설계된 종합적인 중국어 의료 벤치마크인 CMB를 소개한다. 실제 중국 의료 자격 시험과 임상 사례를 기반으로 한 CMB는 지식 암기 능력(CMB-Exam)과 임상 추론 능력(CMB-Clin)을 평가하며, 자동 평가(GPT-4)와 전문가 평가 간 강한 일치를 보이며, 스피어만 상관계수 0.93을 기록한다.

ABSTRACT

Large Language Models (LLMs) provide a possibility to make a great breakthrough in medicine. The establishment of a standardized medical benchmark becomes a fundamental cornerstone to measure progression. However, medical environments in different regions have their local characteristics, e.g., the ubiquity and significance of traditional Chinese medicine within China. Therefore, merely translating English-based medical evaluation may result in extit{contextual incongruities} to a local region. To solve the issue, we propose a localized medical benchmark called CMB, a Comprehensive Medical Benchmark in Chinese, designed and rooted entirely within the native Chinese linguistic and cultural framework. While traditional Chinese medicine is integral to this evaluation, it does not constitute its entirety. Using this benchmark, we have evaluated several prominent large-scale LLMs, including ChatGPT, GPT-4, dedicated Chinese LLMs, and LLMs specialized in the medical domain. We hope this benchmark provide first-hand experience in existing LLMs for medicine and also facilitate the widespread adoption and enhancement of medical LLMs within China. Our data and code are publicly available at https://github.com/FreedomIntelligence/CMB.

연구 동기 및 목표

• 영어 중심의 의료 벤치마크가 중국의 고유한 의료 환경에서 LLM을 평가하는 데에 한계를 보이고 있는 문제를 해결하기 위해.
• 중국의 의료 교육 및 실무, 특히 전통 중국의학까지 포함한 문화적으로 기반을 둔 표준화된 평가 프레임워크를 구축하기 위해.
• 경쟁 순위표가 아닌 LLM의 자가 평가 도구를 제공하여 의료 적용 분야에서 지속적인 모델 개선을 가능하게 하기 위해.
• 정확한 의료 자격 시험 데이터를 사용하여 객관적인 참값을 확보하고 전문가 수준 성능의 기준으로 60%를 설정함으로써 평가의 엄격함을 확보하기 위해.
• GPT-4를 활용한 자동 평가의 신뢰성을 검증하기 위해 임상 추론 과제에서 전문가 인간 평가와 비교하기 위해.

제안 방법

• CMB는 의료 전문 분야(의사, 간호사, 의료기술사, 약사) 전반에 걸친 실제 중국 의료 자격 시험 문제를 기반으로 구성된다.
• CMB-Exam은 4~6개의 선택지와 하나 이상의 정답을 포함하는 다중 선택 문제로 구성되며, 학부 수준에서 고급 전문직 등급까지의 공식 시험 문제에서 유래된다.
• CMB-Clin은 의료 지식과 추론 능력을 통합해야 하는 복잡한 다단계 임상 사례 연구로 구성되며, 정답은 전문가의 합의에 의해 검증된다.
• 공개된 익명화된 시험 데이터를 사용하며, 중국 의료 문제 데이터베이스로부터 명시적 허가를 받아 윤리적 준수와 데이터 프라이버시를 확보한다.
• 자동 평가는 GPT-4를 활용하여 모델의 응답에 대해 관련성, 완전성, 유창성, 숙련도를 평가하고 전문가의 인간 주석과 비교한다.
• 통계적 검증으로는 GPT-4 평가와 전문가 순위 간 스피어만 상관계수(0.93)와 디코딩 초모수(예: 온도)가 성능 안정성에 미치는 영향 분석을 포함한다.

Figure 1 : Components of the CMB dataset. Left: The structure of CMB-Exam, consisting of multiple-choice and multiple-answer questions. Right: an example of CMB-Clin. Each example consists of a description and a multi-turn conversation.

실험 결과

연구 질문

• RQ1 주요 LLM들은 중국어로 구성된 종합적이고 문화적·언어적으로 현지화된 의료 벤치마크에서 얼마나 잘 성과를 내는가?
• RQ2 GPT-4를 활용한 자동 평가가 중국 의학의 임상 추론 과제에서 전문가 인간 평가와 얼마나 일치하는가?
• RQ3 지식 집약적인 다중 선택 문제(CMB-Exam) 성과는 복잡한 임상 추론 과제(CMB-Clin) 성과를 예측할 수 있는가?
• RQ4 추론 중 디코딩 온도의 변화에 따라 모델 순위가 얼마나 민감하게 변하는가?
• RQ5 CMB-Exam 데이터로의 피지컬 테이닝이 모델의 임상 사례 기반 추론 능력 일반화에 어떤 영향을 미치는가?

주요 결과

• GPT-4, ChatGPT, Baichuan-13B-chat는 CMB-Clin에서 평균 점수 3.45, 3.40, 3.74를 기록하여 다른 모델들보다 최소 7.4% 이상 높은 관련성, 완전성, 숙련도를 확보하며 뛰어난 성능을 보였다.
• GPT-4 평가와 전문가 인간 평가 간 CMB-Clin에서의 스피어만 상관계수는 0.93로 나타나 자동 평가의 높은 일치성과 신뢰성을 입증했다.
• CMB-Exam과 CMB-Clin에서의 모델 순위 간 상관계수는 0.89(p-value = 2.3e-4)였으며, 이는 지식 암기와 추론 과제에서 일관된 성능을 보임을 시사한다.
• CMB-Clin 성능은 디코딩 온도가 증가함에 따라 감소했으며, 온도 0일 때 최고 점수를 기록하여 의료 환경에서는 결정론적 출력이 선호됨을 나타낸다.
• 다른 온도에서의 모델 순위 간 페어와이즈 스피어만 상관계수는 모두 0.87 이상을 유지하여, 모델 순위가 초모수 변화에 대해 강건함을 보였다.
• MedicalGPT, DoctorGLM, Bentsao, ChatGLM-Med와 같은 모델들은 높은 유창성에도 불구하고 만족스럽지 못한 결과를 보였으며, 이는 의료 지식이나 추론 능력에 잠재적 결함이 있음을 시사한다.

Figure 2 : Accuracy across various clinical medicine fields at different career stages. The accuracies are the Zero-shot average values for TOP-5 models using direct response strategy.