[논문 리뷰] Is Open-Source There Yet? A Comparative Study on Commercial and Open-Source LLMs in Their Ability to Label Chest X-Ray Reports

Felix J. Dorfner, Liv Jürgensen외 12명|arXiv (Cornell University)|2024. 02. 19.

Radiomics and Machine Learning in Medical Imaging인용 수 4

한 줄 요약

이 연구는 제로샷 및 팔문 프롬프팅을 사용하여 흉부 X선 보고서의 소견을 레이블링하는 데 있어 상용 모델(GPT-3.5 Turbo, GPT-4)과 오픈소스 LLM(Mistral-7B, Mixtral-8x7B, Llama2-13B/70B, QWEN1.5-72B, CheXbert, CheXpert-labeler)을 비교한다. 오픈소스 모델, 특히 팔문 프롬프팅 또는 앙상블 방법을 사용할 경우 GPT-4 수준의 성능을 거의 달성하며, 이는 의료 영상 분석 분야에서 비용 절감, 개인정보 보호, 재현 가능성을 확보하는 효과적인 대안을 제공한다.

ABSTRACT

Introduction: With the rapid advances in large language models (LLMs), there have been numerous new open source as well as commercial models. While recent publications have explored GPT-4 in its application to extracting information of interest from radiology reports, there has not been a real-world comparison of GPT-4 to different leading open-source models. Materials and Methods: Two different and independent datasets were used. The first dataset consists of 540 chest x-ray reports that were created at the Massachusetts General Hospital between July 2019 and July 2021. The second dataset consists of 500 chest x-ray reports from the ImaGenome dataset. We then compared the commercial models GPT-3.5 Turbo and GPT-4 from OpenAI to the open-source models Mistral-7B, Mixtral-8x7B, Llama2-13B, Llama2-70B, QWEN1.5-72B and CheXbert and CheXpert-labeler in their ability to accurately label the presence of multiple findings in x-ray text reports using different prompting techniques. Results: On the ImaGenome dataset, the best performing open-source model was Llama2-70B with micro F1-scores of 0.972 and 0.970 for zero- and few-shot prompts, respectively. GPT-4 achieved micro F1-scores of 0.975 and 0.984, respectively. On the institutional dataset, the best performing open-source model was QWEN1.5-72B with micro F1-scores of 0.952 and 0.965 for zero- and few-shot prompting, respectively. GPT-4 achieved micro F1-scores of 0.975 and 0.973, respectively. Conclusion: In this paper, we show that while GPT-4 is superior to open-source models in zero-shot report labeling, the implementation of few-shot prompting can bring open-source models on par with GPT-4. This shows that open-source models could be a performant and privacy preserving alternative to GPT-4 for the task of radiology report classification.

연구 동기 및 목표

• 오픈소스 LLM이 흉부 X선 보고서의 소견을 레이블링하는 데 있어 GPT-4와 유사한 성능을 낼 수 있는지 평가하는 것.
• 다양한 데이터셋에서 제로샷 대비 팔문 프롬프팅 전략의 영향을 모델 성능에 미치는 영향을 평가하는 것.
• 의료 NLP 분야에서 전문 모델 대비 개인정보 보호, 비용 절감, 재현 가능성을 확보할 수 있는 오픈소스 LLM의 실용성 탐색.
• 최고 성능을 보인 오픈소스 모델을 조합하여 분류 정확도를 향상시키는 앙상블 방법 탐구.
• 의료 보고서 레이블링 작업에서 클래스 불균형과 프롬프트 최적화와 관련된 과제 해결

제안 방법

• 두 개의 독립된 데이터셋을 사용: 매사추세츠 기독교 병원에서 확보한 540건의 기관별 흉부 X선 보고서와 ImaGenome 데이터셋의 500건.
• 6개의 오픈소스 LLM(Mistral-7B, Mixtral-8x7B, Llama2-13B, Llama2-70B, QWEN1.5-72B, CheXbert, CheXpert-labeler)과 2개의 상용 모델(GPT-3.5 Turbo, GPT-4)을 평가.
• 제로샷 및 팔문 프롬프팅 기법을 적용하였으며, 프롬프트는 먼저 GPT-4에서 테스트 및 최적화한 후 다른 모델에 적용.
• 14개의 영상학적 소견에 대해 마이크로 및 매크로 F1-스코어로 성능 측정하였으며, 기관 데이터셋에서는 오버샘플링을 통해 클래스 불균형 문제를 해결.
• 예측 결과를 다수결 투표 방식으로 조합하여, 성능이 가장 뛰어난 세 개의 오픈소스 모델(Mixtral-8x7B, Llama2-70B, QWEN1.5-72B)을 기반으로 앙상블 모델을 구축.
• 모델 추론은 로컬 또는 클라우드 제공업체를 통해 수행되었으며, 양자화 기법을 통해 제한된 하드웨어(예: Llama-2 70B의 경우 48GB VRAM, Int4)에서도 배포 가능

Figure 1: Flow-chart for the reports from the ImaGenome and the institutional dataset

실험 결과

연구 질문

• RQ1 오픈소스 LLM은 비정형 흉부 X선 보고서의 소견을 분류하는 데 있어 GPT-4와 유사한 성능을 달성할 수 있는가?
• RQ2 이 작업에서 팔문 프롬프팅이 제로샷 프롬프팅에 비해 오픈소스 LLM의 정확도 향상에 얼마나 효과적인가?
• RQ3 다수의 오픈소스 모델을 조합한 앙상블 방법이 GPT-4와의 성능 격차를 어느 정도 줄일 수 있는가?
• RQ4 비용, 개인정보 보호, 재현 가능성 측면에서 의료 AI 분야에서 오픈소스 LLM이 상용 모델보다 실질적인 이점은 무엇인가?
• RQ5 클래스 불균형과 프롬프트 설계는 영상학적 보고서 분류 작업에서 모델 성능에 어떤 영향을 미치는가?

주요 결과

• ImaGenome 데이터셋에서 최고의 오픈소스 모델인 Llama2-70B는 제로샷 시 0.972, 팔문 프롬프팅 시 0.970의 마이크로 F1-스코어를 기록하였으며, GPT-4는 각각 0.975와 0.984를 기록하였다.
• 기관 데이터셋에서 QWEN1.5-72B는 제로샷 시 0.952, 팔문 프롬프팅 시 0.965의 마이크로 F1-스코어를 기록하였으며, GPT-4는 각각 0.975와 0.973을 기록하였다.
• Mixtral-8x7B, Llama2-70B, QWEN1.5-72B의 앙상블는 팔문 프롬프팅을 사용할 경우 기관 데이터셋에서 GPT-4의 성능을 따라잡아 마이크로 F1-스코어 0.971과 0.973을 기록하였다.
• 앙상블 모델은 두 데이터셋에서 제로샷 및 팔문 프롬프팅 작업 모두에서 GPT-3.5 Turbo를 초월하여, 모델 조합의 가치를 입증하였다.
• 오픈소스 모델은 '기흉'과 '쇄기'와 같이 보고서에 직접적으로 언급되는 빈도가 높은 소견에서 뛰어난 성능를 보였다.
• 이 연구는 오픈소스 LLM이 로컬에서 배포되고 외부 API에 의존하지 않을 경우 비용, 개인정보 보호, 재현 가능성 측면에서 상당한 이점을 제공함을 확인하였다.

Figure 2: Outline of the zero-shot prompting workflow for the ImaGenome dataset. The model is given instructions and the report to classify and outputs its response according to the JSON formatted template with the corresponding labels.