[논문 리뷰] shs-nlp at RadSum23: Domain-Adaptive Pre-training of Instruction-tuned LLMs for Radiology Report Impression Generation

Sanjeev Kumar Karn, Rikhiya Ghosh외 2명|arXiv (Cornell University)|2023. 06. 05.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 지침에 맞춰 튜닝된 대규모 언어 모델(Bloomz)을 MIMIC-IV의 영상의학 분야 특화 텍스트로 추가로 사전학습시켜 영상의학 보고서 요약 생성 성능을 향상시키는 새로운 도메인 적응형 사전학습 방법—general-pretrain-prompt-tune-and-special-pretrain—을 제안한다. 이 방법은 사전 훈련 후 태스크 특화 미세조정 없이도 최상의 제로샷 성능을 달성하여 BioNLP 2023 워크숍의 Task 1B에서 1위를 기록하였다.

ABSTRACT

Instruction-tuned generative Large language models (LLMs) like ChatGPT and Bloomz possess excellent generalization abilities, but they face limitations in understanding radiology reports, particularly in the task of generating the IMPRESSIONS section from the FINDINGS section. They tend to generate either verbose or incomplete IMPRESSIONS, mainly due to insufficient exposure to medical text data during training. We present a system which leverages large-scale medical text data for domain-adaptive pre-training of instruction-tuned LLMs to enhance its medical knowledge and performance on specific medical tasks. We show that this system performs better in a zero-shot setting than a number of pretrain-and-finetune adaptation methods on the IMPRESSIONS generation task, and ranks 1st among participating systems in Task 1B: Radiology Report Summarization at the BioNLP 2023 workshop.

연구 동기 및 목표

• 지침에 맞춰 튜닝된 대규모 언어 모델이 의료 텍스트에 노출되지 않아 정확하고 간결한 영상의학 보고서 요약을 생성하는 데에 한계를 가진다는 점을 해결하기 위해.
• 저자원 의료 NLP 환경에서 표준적인 사전학습-미세조정 접근법의 단점을 극복하기 위해.
• 지침 튜닝 이후에 도메인 특화 텍스트로 추가 사전학습을 수행하면 영상의학 보고서 요약 작업에서 제로샷 성능이 향상되는지 탐구하기 위해.
• 도메인 적응형 사전학습이 태스크 특화 적응 없이도 미세조정 기반 방법을 능가할 수 있음을 입증하기 위해.

제안 방법

• 다양한 NLP 태스크에서 자연어 지시를 따르는 것을 학습한 사전학습된 지침 튜닝 대규모 언어 모델(Bloomz)을 기반으로 시작한다.
• 모델이 영상의학 용어와 보고서 구조에 적응할 수 있도록 대규모 영상의학 보고서 코퍼스(MIMIC-IV)에서 추가 도메인 특화 사전학습을 수행한다.
• 모든 훈련 단계(일반 사전학습, 프롬프트 튜닝, 도메인 특화 사전학습) 동안 동일한 언어 모델링 목표를 유지하여 일관성을 확보한다.
• 최종적으로 생성된 모델인 RadBloomz를 사용하여 추가적인 미세조정 없이 제로샷 추론을 수행한다.
• MIMIC-III 및 MIMIC-CXR 테스트 세트에서 표준 평가 지표(ROUGE-L, BERTScore, F1-RadGraph, F1-CheXbert)를 사용해 성능을 평가한다.
• 동일한 평가 데이터에서 도메인 적응형 모델의 제로샷 성능을 표준 사전학습-미세조정 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 지침 튜닝된 대규모 언어 모델을 도메인 특화 영상의학 텍스트로 추가로 사전학습하면 제로샷 성능이 영상의학 보고서 요약 생성에서 향상되는가?
• RQ2 제안된 general-pretrain-prompt-tune-and-special-pretrain 패러다임은 제로샷 환경에서 기존의 사전학습-미세조정 접근법보다 우수한 성능을 내는가?
• RQ3 도메인 적응형 모델의 성능는 영상의학 보고서 요약을 위한 표준 평가 지표에서 미세조정된 모델과 비교해 어떻게 되는가?
• RQ4 도메인 적응형 사전학습은 의료 NLP 태스크에서 태스크 특화 미세조정의 필요성을 어느 정도 줄이는가?
• RQ5 이상이 없거나 다양한 보고서 스타일을 가진 보고서의 요약 생성에서 모델의 실패 유형과 한계는 무엇인가?

주요 결과

• 제안된 도메인 적응형 사전학습 방법은 BioNLP 2023 워크숍의 Task 1B: 영상의학 보고서 요약에서 모든 제출 시스템 중 최고 성능을 기록하여 은닉 테스트 세트에서 1위를 차지하였다.
• 제로샷 모델은 MIMIC-III 테스트 세트에서 ROUGE-L, BERTScore, F1-RadGraph, F1-CheXbert 지표에서 여러 사전학습-미세조정 베이스라인을 초월하였다.
• 미세조정은 일부 지표(예: ROUGE-L)에서는 성능 향상을 보였지만, F1-RadGraph와 F1-CheXbert에서는 성능이 열 劣화되어, 의미 일관성 측면에서 사전학습 후 미세조정 없이 도메인 적응을 수행하는 것이 더 효과적임을 시사하였다.
• 모델은 MIMIC-CXR 테스트 세트에서도 강력한 일반화 능력을 보였으며(텍스트 전용 시스템 중 4위), 다중모달 환경에서도 강인함을 입증하였다.
• 에러 분석 결과, ROUGE와 같은 n-gram 기반 지표는 '정상 MRI'와 '부정적 영상' 간의 의미 유사성을 포착하지 못함을 확인하여 현재 평가 프로토콜의 한계를 드러냈다.
• 모델는 발견이 모호하거나 명확한 이상이 없는 경우에 환상적 또는 불완전한 요약을 생성하는 경우가 있어 사실성 일관성 측면에서 향상 여지가 있음을 시사하였다.