[논문 리뷰] Enhancing disease detection in radiology reports through fine-tuning lightweight LLM on weak labels

Yishu Wei, Xindi Wang외 5명|PubMed|2024. 09. 25.

Computational and Text Analysis Methods참고 문헌 6인용 수 4

한 줄 요약

이 논문은 약한 레이블이 부여된 영상의학 보고서에 대해 경량 LLM(Llama 3.1-8B)을 피지컬 튜닝하여 질병 탐지 성능을 향상시키는 방법을 제안한다. GPT-4o 또는 규칙 기반 시스템으로부터 생성된 합성 레이블을 사용하여 다중 선택 분류 및 개방형 탐지 작업을 동시에 학습함으로써, 모델은 개방형 탐지 작업에서 마이크로-F1이 0.91에 도달하였고, 노이즈가 있는 교사 모델을 뛰어넘는 성능을 보이며, 자원이 부족하고 개인정보 보호가 중요한 의료 LLM 특화 분야에서 강력한 잠재력을 보여준다.

ABSTRACT

Despite significant progress in applying large language models (LLMs) to the medical domain, several limitations still prevent them from practical applications. Among these are the constraints on model size and the lack of cohort-specific labeled datasets. In this work, we investigated the potential of improving a lightweight LLM, such as Llama 3.1-8B, through fine-tuning with datasets using synthetic labels. Two tasks are jointly trained by combining their respective instruction datasets. When the quality of the task-specific synthetic labels is relatively high (e.g., generated by GPT4-o), Llama 3.1-8B achieves satisfactory performance on the open-ended disease detection task, with a micro F1 score of 0.91. Conversely, when the quality of the task-relevant synthetic labels is relatively low (e.g., from the MIMIC-CXR dataset), fine-tuned Llama 3.1-8B is able to surpass its noisy teacher labels (micro F1 score of 0.67 v.s. 0.63) when calibrated against curated labels, indicating the strong inherent underlying capability of the model. These findings demonstrate the potential offine-tuning LLMs with synthetic labels, offering a promising direction for future research on LLM specialization in the medical domain.

연구 동기 및 목표

• 의료 영상 분석에서 레이블이 부족하고 품질이 낮은 데이터 문제를 해결하기 위해 합성 레이블을 활용해 모델을 피지컬 튜닝하는 것.
• 병원 환경에서 대규모 LLM의 제약을 극복하기 위해 Llama 3.1-8B와 같은 경량 모델을 사용하는 것.
• 약한 지도 학습을 통한 피지컬 튜닝이 인간 레이블링 또는 규칙 기반 레이블의 성능을 근사하거나 초월할 수 있는지 평가하는 것.
• 단일 LLM이 여러 영상의학 작업에 대해 공동 또는 별도로 피지컬 튜닝될 경우의 성능 차이를 조사하는 것.
• GPT-4o가 생성한 합성 레이블을 활용해 경량 모델이 전문가 수준에 가까운 성능을 내는 것이 가능한지 실현 가능성을 입증하는 것.

제안 방법

• 다중 선택 질병 분류 및 개방형 질병 탐지라는 두 가지 다른 영상의학 작업에 대해 Llama 3.1-8B를 지시어 튜닝하였다.
• 다중 선택 작업의 합성 레이블은 규칙 기반 시스템인 Negbio를 사용해 생성하였고, 개방형 작업의 레이블은 GPT-4o를 사용해 생성하였다.
• MIMIC-CXR 및 WCM 등의 다양한 소스에서 온 지시어 데이터셋을 통합하여 단일 혼합 학습 세트를 구성하여 공동 다중 작업 학습을 수행하였다.
• 부정 처리, 확신도 필터링, 증거 추출을 포함한 정교하게 설계된 프롬프트를 사용해 지시어 튜닝을 적용하였다.
• 정제된 인간 레이블링 테스트 세트를 기반으로 마이크로-F1 점수를 사용해 모델 성능을 평가하였으며, 규칙 기반 레이블 및 GPT-4o 출력과의 비교를 수행하였다.
• 모델 성능의 상호 보완성을 평가하기 위해 공동 학습 및 별도 학습 전략을 모두 탐색하였다.

실험 결과

연구 질문

• RQ1 GPT-4o가 생성한 합성 레이블을 기반으로 피지컬 튜닝된 경량 LLM인 Llama 3.1-8B는 영상의학 질병 탐지에서 높은 성능을 달성할 수 있는가?
• RQ2 여러 작업에 대해 공동으로 피지컬 튜닝할 경우 별도 학습보다 모델 일반화 능력이 향상되는가?
• RQ3 교사 모델이 노이즈가 많거나 부정확한 레이블을 사용할 때, 학생 모델이 교사 모델을 초월할 수 있는가?
• RQ4 합성 레이블의 품질(예: GPT-4o vs. 규칙 기반 시스템)이 최종 모델 성능에 어떤 영향을 미치는가?
• RQ5 합성 레이블을 통해 자원이 부족하고 개인정보 보호가 중요한 의료 환경에서 LLM의 효과적인 전문화가 어느 정도 가능한가?

주요 결과

• Llama 3.1-8B는 GPT-4o가 생성한 합성 레이블을 기반으로 피지컬 튜닝한 결과, 개방형 질병 탐지 작업에서 마이크로-F1 점수 0.91를 기록하였다.
• 피지컬 튜닝된 Llama 3.1-8B는 규칙 기반 교사 모델(NegBio)보다 성능이 뛰어나, 다중 선택 분류 작업에서 마이크로-F1 0.66을 기록한 반면, 교사 모델은 0.63을 기록하였다.
• MIMIC-CXR에서 생성된 저품질 합성 레이블을 기반으로 학습한 Llama 3.1-8B도 여전히 노이즈가 많은 교사 모델의 성능을 뛰어넘었으며, 이는 모델의 강력한 일반화 능력을 시사한다.
• 두 작업에 대해 공동으로 피지컬 튜닝한 결과, 별도 학습과 유사한 성능을 기록하여 다중 작업 학습에서의 성능 저하가 없음을 확인하였다.
• 모델는 레이블 노이즈에 대해 뛰어난 내성적 저항력을 보였으며, 불완전한 합성 레이블을 기반으로 학습해도 높은 성능을 달성하여, 의료 NLP 작업에서의 잠재적 역량을 입증하였다.
• 결과적으로, GPT-4o와 같은 고품질 LLM이 생성한 합성 레이블은 전문 지식을 경량 모델에 효과적으로 전이시켜 임상 환경에서의 실용적 적용 가능성을 높인다.