[논문 리뷰] RadAdapt: Radiology Report Summarization via Lightweight Domain Adaptation of Large Language Models

Dave Van Veen, Cara Van Uden외 10명|arXiv (Cornell University)|2023. 05. 02.

Topic Modeling인용 수 6

한 줄 요약

RadAdapt는 로라를 통해 미세조정된 임상 텍스트 사전학습된 LLM을 사용하여 방사선 검사 보고서 요약을 위한 경량 도메인 적응 프레임워크를 제안한다. 이는 파라미터의 0.32%만 조정하면서도 최신 기술 수준의 성능을 달성한다. 이 방법은 전체 미세조정 및 프롬프팅 기반 베이스라인을 능가하며, 임상 사전학습과 파rameter 효율적 미세조정의 조합이 RRS에 최적임을 입증한다.

ABSTRACT

We systematically investigate lightweight strategies to adapt large language models (LLMs) for the task of radiology report summarization (RRS). Specifically, we focus on domain adaptation via pretraining (on natural language, biomedical text, or clinical text) and via discrete prompting or parameter-efficient fine-tuning. Our results consistently achieve best performance by maximally adapting to the task via pretraining on clinical text and fine-tuning on RRS examples. Importantly, this method fine-tunes a mere 0.32% of parameters throughout the model, in contrast to end-to-end fine-tuning (100% of parameters). Additionally, we study the effect of in-context examples and out-of-distribution (OOD) training before concluding with a radiologist reader study and qualitative analysis. Our findings highlight the importance of domain adaptation in RRS and provide valuable insights toward developing effective natural language processing solutions for clinical tasks.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)을 활용한 방사선 검사 보고서 요약(Radiology Report Summarization, RRS)을 위한 경량 도메인 적응 전략을 탐구한다.
• 일반 언어, 생물의학적 텍스트 또는 임상 텍스트에 대한 사전학습이 RRS 성능에 미치는 영향을 평가한다.
• 효율성과 효율성 측면에서 프롬프팅, 파라미터 효율적 미세조정(LoRA), 종단 간 미세조정를 비교한다.
• RRS에서 분포 외(OOD) 모odalities와 해부학적 영역으로의 일반화 능력을 평가한다.
• 방사선 전문의 독자 연구와 정성적 분석을 통해 모델 성능을 검증한다.

제안 방법

• 방사선 검사 보고서의 도메인 일치를 향상시키기 위해 임상 텍스트(예: MIMIC-III)에서 LLM을 사전학습한다.
• RRS 데이터에서 파라미터 효율적 미세조정을 위해 LoRA(Low-Rank Adaptation)를 적용하여 모델 파라미터의 0.32%만 업데이트한다.
• 다양한 수의 예시를 포함한 컨텍스트 기반 소수의 프롬프팅을 사용하여 프롬프팅 엔지니어링의 영향을 평가한다.
• 특히 다양한 영상 모달리티와 해부학적 영역을 기반으로 분포 외(OOD) 데이터에서의 모델 일반화 능력을 평가한다.
• 생성된 인상 문단의 정확성, 일관성, 임상적 관련성 측면에서 품질을 평가하기 위해 방사선 전문의 독자 연구를 수행한다.
• 모델 아키텍처, 프롬프팅 전략, 적응 기법을 다양하게 변화시켜 성능 결정 요인을 분리하기 위해 분석 실험을 수행한다.

Figure 1: Diagram of experiments. We evaluate every combination of pretrained LLM (top) and lightweight adaptation method (bottom). Moving from left to right, the models and methods become increasingly adapted to the downstream clinical task of RRS.

실험 결과

연구 질문

• RQ1 일반 언어나 생물의학적 텍스트에 비해 임상 텍스트에서 사전학습을 수행하면 RRS 성능이 유의미하게 향상되는가?
• RQ2 RRS 성능 및 파라미터 효율성 측면에서 로라 기반 파라미터 효율적 미세조정은 전체 미세조정(100% 파라미터)보다 어떻게 비교되는가?
• RQ3 다양한 LLM에 대해 컨텍스트 기반 소수의 프롬프팅이 RRS 출력 품질에 미치는 영향은 어떠한가?
• RQ4 적응된 모델은 분포 외(OOD) 영상 모달리티와 해부학적 영역으로의 일반화 능력이 얼마나 뛰어나게 되는가?
• RQ5 방사선 전문의는 LLM이 생성한 방사선 검사 인상 문단의 임상적 관련성, 정확성, 일관성에 대해 어떻게 평가하는가?

주요 결과

• 가장 높은 성능을 보인 방법은 임상 텍스트 사전학습(Clin-T5)과 로라 미세조정을 조합한 것으로, RRS 벤치마크에서 최신 기술 수준의 성능을 달성했다.
• 로라를 통해 모델 파라미터의 0.32%만 조정함으로써 전체 미세조정(100% 파라미터)보다 뛰어난 성능을 기록하면서도 계산 비용을 크게 절감했다.
• 컨텍스트 기반 예시 수를 늘일수록 모든 평가 모델에서 RRS 성능이 일관되게 향상되었으며, 이는 프롬프팅 엔지니어링의 가치를 입증한다.
• 일반화 능력에서 해부학적 다양성이 모달리티보다 더 중요하다. 다양한 해부학적 영역에서 훈련된 모델은 OOD 사례로의 일반화 능력이 뛰어나다.
• 방사선 전문의 독자 연구 결과, 정확성, 일관성, 임상적 관련성에 대해 높은 평점을 받았지만, 일부 경우에 환상적 정보와 기준 보고서와의 불일치가 관찰되었다.

Figure 2: Example radiology report. Left : Findings and reference impression. Right : Generated impressions with various methods for discrete prompting (top) and parameter-efficient fine-tuning (bottom), all using the Clin-T5-Large model. Color annotations were provided by a radiologist who speciali