[논문 리뷰] Radiology-GPT: A Large Language Model for Radiology

Zhengliang Liu, Aoxiao Zhong외 18명|arXiv (Cornell University)|2023. 06. 14.

Topic Modeling인용 수 21

한 줄 요약

Radiology-GPT는 MIMIC-CXR 데이터에서 findings에서 radiology impressions를 생성하도록 지시 튜닝된 방사선 의학 중심 LLM으로, 일반 지시 튜닝 모델보다 우수하고 임상 배치에 대한 개인정보 보호 이점이 크다.

ABSTRACT

We introduce Radiology-GPT, a large language model for radiology. Using an instruction tuning approach on an extensive dataset of radiology domain knowledge, Radiology-GPT demonstrates superior performance compared to general language models such as StableLM, Dolly and LLaMA. It exhibits significant versatility in radiological diagnosis, research, and communication. This work serves as a catalyst for future developments in clinical NLP. The successful implementation of Radiology-GPT is indicative of the potential of localizing generative large language models, specifically tailored for distinctive medical specialties, while ensuring adherence to privacy standards such as HIPAA. The prospect of developing individualized, large-scale language models that cater to specific needs of various hospitals presents a promising direction. The fusion of conversational competence and domain-specific knowledge in these models is set to foster future development in healthcare AI. A demo of Radiology-GPT is available at https://huggingface.co/spaces/allen-eric/radiology-gpt.

연구 동기 및 목표

• 발견을 해석하고 impression을 생성하기 위해 방사선 의학에 특화된 지역화된, 프라이버시를 보장하는 LLM을 개발한다.
• 방사선 데이터에 대한 지시 튜닝의 효과를 일반 모델과 비교하여 입증한다.
• 전통적인 NLP 벤치마크를 넘어 도메인 관련 품질 지표로 출력물을 평가한다.
• 임상 의사결정 지원, 환자 소통, 그리고 의료 분야의 다도메인 AI 협업에 대한 시사점을 탐구한다.

제안 방법

• 기저 모델로 Alpaca-7B를 사용하고 LoRA 미세조정을 적용하여 효율적이고 지역화된 학습을 가능하게 한다.
• 학습을 위한 Findings와 Impression 섹션 쌍을 추출하도록 MIMIC-CXR 보고서를 전처리한다.
• 지시문 "Derive the impression from findings in the radiology report"를 사용하여 Findings를 Impressions로 매핑하도록 지시 튜닝으로 학습한다.
• 이해도, 일관성, 관련성, 간결성, 임상적 활용도 등 도메인 특정 지표를 사용하여 다른 LLM과 비교 평가한다.
• 외부 테스트 데이터로서 MIMIC-CXR 테스트 세트와 독립적인 OpenI 데이터셋에서 검증한다.
• HIPAA를 준수하고 병원 인프라에 모델을 유지하여 프라이버시 이점을 강조한다.

Figure 1 : The overall framework of Radiology-GPT.

실험 결과

연구 질문

• RQ1 방사선 보고서에 대한 지시 준수를 통해 학습된 방사선 도메인 LLM이 일반 지시 튜닝 모델보다 임상적으로 유용한 impression을 생성하는 데 더 우수할 수 있는가?
• RQ2 도메인 특화 지시 튜닝이 이해도, 일관성, 관련성, 간결성 및 임상적 활용도 측면에서 비도메인 LLM과 비교하여 향상시키는가?
• RQ3 임상 현장에서 지역화된 Radiology-GPT의 프라이버시 및 배치 시사점은 무엇인가?
• RQ4 Radiology-GPT가 방사선-impression 작업에서 ChatGPT와 어떻게 비교되며, 간결성 대 관련성 등 트레이드오프가 어디에서 발생하는가?

주요 결과

• Radiology-GPT는 방사선 임상 impression 작업에서 StableLM, Dolly, LLaMA와 같은 일반 지시 튜닝 모델보다 우수하다.
• 이해도에서는 ChatGPT에 비견될 정도이며 일관성은 약간 더 낫다.
• Radiology-GPT는 ChatGPT보다 더 간결하고 임상적 활용도가 높지만 출력이 짧아 관련성은 다소 낮을 수 있다.
• 방사선 특화 지시 튜닝이 없는 일반 도메인 모델은 Radiology-GPT 및 ChatGPT에 비해 성능이 떨어진다.
• 도메인 특화 지시 튜닝과 지역 배치(HIPAA-준수)는 실제 방사선 AI 활용도를 크게 높인다.

Figure 2 : The instruction-tuning process of Radiology-GPT.