[논문 리뷰] Effectively Fine-tune to Improve Large Multimodal Models for Radiology Report Generation

Yuzhe Lu, Sungmin Hong외 2명|arXiv (Cornell University)|2023. 12. 03.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 소프트 시각 프롬프트를 통해 시각적 특징을 텍스트 임베딩 공간에 정렬함으로써 방사선 영상 보고서 생성을 위한 대규모 다중모odal 모델을 향상시키기 위해 이단계 미세조정 전략을 제안한다. 이 방법을 사용해 OpenLLaMA-7B를 적용했을 때, 도메인 특화 사전학습 없이도 최신 기술 수준의 성능을 달성하였으며, F1-CheXBert 점수로 측정한 사실적 정확도가 크게 향상되었다.

ABSTRACT

Writing radiology reports from medical images requires a high level of domain expertise. It is time-consuming even for trained radiologists and can be error-prone for inexperienced radiologists. It would be appealing to automate this task by leveraging generative AI, which has shown drastic progress in vision and language understanding. In particular, Large Language Models (LLM) have demonstrated impressive capabilities recently and continued to set new state-of-the-art performance on almost all natural language tasks. While many have proposed architectures to combine vision models with LLMs for multimodal tasks, few have explored practical fine-tuning strategies. In this work, we proposed a simple yet effective two-stage fine-tuning protocol to align visual features to LLM's text embedding space as soft visual prompts. Our framework with OpenLLaMA-7B achieved state-of-the-art level performance without domain-specific pretraining. Moreover, we provide detailed analyses of soft visual prompts and attention mechanisms, shedding light on future research directions.

연구 동기 및 목표

• 도메인 특화 사전학습 없이 대규모 언어 모델(LMs)을 활용해 방사선 영상 보고서 생성의 임상 정확도를 향상시키는 것.
• 다중모달 생성을 위해 시각적 특징을 LLM의 텍스트 임베딩 공간에 효과적으로 정렬하는 과제를 해결하는 것.
• 일般적으로 관행과는 반대로, 시각 인코더를 미세조정하는 것이 정지 상태 유지보다 성능 향상에 기여하는지 조사하는 것.
• 대규모 모델 내 주의 메커니즘을 분석하여, 그것들이 시각 입력에 얼마나 잘 기반되어 있는지 이해하는 것.
• 사전 구축된 LLM을 의료 보고서 생성에 활용하기 위한 실용적이고 확장 가능한 프레임워크를 제공하는 것.

제안 방법

• 비디오 인코더에서 추출한 시각적 특징을 인과적 언어 모델의 텍스트 임베딩 차원으로 매핑하기 위해 단일 트랜스포머 디코더 레이어로 구성된 경량 매핑 네트워크를 구현한다.
• 매핑 네트워크는 225개의 시각 토큰을 10개로 줄이는 어텐션 풀링과 언어 모델의 임베딩 크기에 맞는 특징 매핑을 동시에 수행한다.
• 매핑된 시각적 특징은 소프트 시각 프롬프트로 간주되며, 언어 모델의 자동회귀 생성 과정에 조건부로 통합된다.
• 이중 단계 미세조정 프로토콜을 도입한다: 먼저 매핑 네트워크를 예열하고, 이후 시각 인코더와 매핑 네트워크를 함께 미세조정하면서 LLM은 동결 상태로 유지한다.
• 어 attention 가중치는 레이어 및 샘플 간 평균화되어, 각 생성 토큰이 소프트 시각 프롬프트에 얼마나 주목하는지 측정한다.
• 모델이 생성한 보고서와 진짜 레이블 간의 비교를 위해 CheX-BERT 기반 레이블러를 사용하여 사실적 완전성 평가에 F1-CheXBert 메트릭을 활용한다.

Figure 1: We observed that fine-tuning the visual encoder together with the remaining model components consistently improves F1-CXB14 score.

실험 결과

연구 질문

• RQ1 비교적 정지 상태 유지와는 반대로, 시각 인코더를 미세조정하는 것이 방사선 영상 보고서 생성 성능 향상에 기여하는가?
• RQ2 다양한 크기의 언어 모델에서 소프트 시각 프롬프트에 할당된 어휘 분포는 어떻게 변화하는가?
• RQ3 이단계 미세조정 프로토콜이 LLM 기반 보고서 생성의 사실적 정확도 및 임상 유효성 향상에 기여하는가?
• RQ4 검증 손실이 감소하는 데 비해, LLM의 크기를 늘릴수록 성능 향상이 정체되는 이유는 무엇인가? (예: GPT2에서 OpenLLaMA-7B로의 확장)
• RQ5 대규모 LLM이 방사선 영상 보고서 생성 시 얼마나 잘 시각 입력에 기반하고 있는가?

주요 결과

• 이단계 미세조정 전략은 모든 모델 크기에서 F1-CheXBert-14 점수를 평균 1.9점 향상시켰다.
• OpenLLaMA-7B 모델은 도메인 특화 사전학습과 두 배 이상의 MIMIC-CXR 데이터에 액세스한 BioVIL-T보다도 뛰어난 성능을 보였다.
• OpenLLaMA-7B는 더 작은 GPT2 모델에 비해 소프트 시각 프롬프트에 더 적은 어휘를 할당하여, 더 큰 모델에서 시각적 기반성이 약한 경향을 보였다.
• OpenLLaMA-7B를 사용할 경우 생성된 보고서 간 평균 쌍별 유사도가 증가하여, 언어 모델링 손실만으로는 시각적 특징을 클래스별로 분리하지 못함을 시사했다.
• 도메인 특화 사전학습 없이도 NLG 및 임상 평가 메트릭 모두에서 최신 기술 수준의 성능을 달성했다.
• 어휘 가중치의 시각화 결과, OpenLLaMA-7B와 같은 더 큰 LLM은 소프트 시각 프롬프트에 더 의존하지 않음을 확인하여, 다중모달 정렬의 핵심 과제임을 재확인했다.

Figure 2: We visualize the average attention weights allocated to the visual prompts across all attention layers. One critical observation is that OpenLLaMA-7B gives much less attention to soft visual prompts than smaller GPT2 models. This suggests that OpenLLaMA-7B, and potentially larger language