[논문 리뷰] Can Prompt Learning Benefit Radiology Report Generation?

Jun Wang, Li Zhu외 2명|arXiv (Cornell University)|2023. 08. 30.

Multimodal Machine Learning ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 사전 훈련된 언어 모델을 활용해 수동으로 설계된 프롬프트와 자동으로 학습된 프롬프트를 통해 의료 지식을 정제하는 프롬프트 학습 기반 프레임워크인 PromptRRG를 제안한다. 추가적인 학습 가능한 파rameter 없이 도메인 특화 및 질병 풍부 지식을 효과적으로 통합함으로써 MIMIC-CXR 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Radiology report generation aims to automatically provide clinically meaningful descriptions of radiology images such as MRI and X-ray. Although great success has been achieved in natural scene image captioning tasks, radiology report generation remains challenging and requires prior medical knowledge. In this paper, we propose PromptRRG, a method that utilizes prompt learning to activate a pretrained model and incorporate prior knowledge. Since prompt learning for radiology report generation has not been explored before, we begin with investigating prompt designs and categorise them based on varying levels of knowledge: common, domain-specific and disease-enriched prompts. Additionally, we propose an automatic prompt learning mechanism to alleviate the burden of manual prompt engineering. This is the first work to systematically examine the effectiveness of prompt learning for radiology report generation. Experimental results on the largest radiology report generation benchmark, MIMIC-CXR, demonstrate that our proposed method achieves state-of-the-art performance. Code will be available upon the acceptance.

연구 동기 및 목표

• 심층적인 의료 지식과 복잡한 의미 관계가 필요한 임상적으로 정확한 병리학 보고서를 생성하는 데 도전하는 데에 대비하기 위해.
• 사전 훈련된 언어 모델 내의 사전 지식을 활성화함으로써 프롬프트 학습이 병리학 보고서 생성을 향상시킬 수 있는지 조사하기 위해.
• 수동 프롬프트 엔지니어링과 보조 지식 모듈에 대한 의존도를 줄이기 위해 자동 프롬프트 학습 기반 메커니즘을 도입하기 위해.
• 공통, 도메인 특화, 질병 풍부 지식 수준의 프롬프트에서 다양한 수준의 도메인 지식이 보고서 품질에 미치는 影響를 체계적으로 평가하기 위해.

제안 방법

• 학습 가능한 파rameter를 추가하지 않고 사전 훈련된 언어 모델에서 지식을 인젝션하는 데에 프롬프트 학습을 사용하는 생성 모델인 PromptRRG를 제안한다.
• 진행적일수록 특정성 수준이 높아지는 의료 지식을 통합하기 위해 공통, 도메인 특화, 질병 풍부 프롬프트의 세 가지 유형을 설계한다.
• 학습 중에 최적의 프롬프트 토큰을 학습할 수 있도록 허용하는 자동 프롬프트 학습 기반 메커니즘을 도입한다. 이는 수동 프롬프트 엔지니어링의 필요성을 제거한다.
• 사전 훈련된 시각 인코더와 사전 훈련된 언어 모델을 디코더로 사용하는 표준 인코더-디코더 아키텍처를 활용하며, 프롬프트는 입력에 앞서 추가된다.
• 학습 및 평가에 MIMIC-CXR 데이터셋을 사용하며, 생성된 보고서에 대한 교차 엔트로피 손실을 최적화함으로써 자동 프롬프트 학습을 수행한다.
• 프롬프트 길이의 영향과 다양한 프롬프트 유형의 성능에 대한 영향을 평가하기 위해 아블레이션 스터디를 적용한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델 내의 기존 지식을 활용함으로써 프롬프트 학습이 병리학 보고서 생성을 효과적으로 향상시킬 수 있는가?
• RQ2 공통, 도메인 특화, 질병 풍부 지식 수준의 프롬프트에서 다양한 수준의 도메인 지식이 보고서 생성 품질에 어떤 영향을 미치는가?
• RQ3 수동 프롬프트 엔지니어링에 비해 자동 프롬프트 학습 기반 메커니즘이 인간 간섭을 줄이며 더 나은 성능을 낼 수 있는가?
• RQ4 질병 특화 지식을 포함함으로써 모델이 정상 및 비정상 소견을 정확하게 기술하는 능력이 어느 정도 향상되는가?

주요 결과

• 제안된 PromptRRG 프레임워크는 MIMIC-CXR 벤치마크에서 이전의 최신 기술 수준 메서드를 초월하는 최신 기술 수준의 성능을 달성한다.
• 질병 풍부 프롬프트는 '폐저기의 반점성 투명도는 폐엽성 폐기종을 나타낼 수 있다'와 같은 비정상 소견의 정확한 기술 능력을 크게 향상시킨다.
• 자신의 프롬프트 학습 기반 메커니즘은 질병 풍부 프롬프트와 비교해도 뛰어난 성능을 보이며, 수동 엔지니어링 없이도 효과적임을 입증한다.
• 아블레이션 스터디 결과, 프롬프트 길이는 성능에 비단조화적인 영향을 미치며, 최적의 성능은 N^p = 8 근처에서 관찰되어 정보와 노이즈 사이의 균형을 이루는 것으로 나타났다.
• 질병 풍부 프롬프트를 사용한 모델은 정상 및 비정상 소견을 더 정확하고 구체적으로 기술하는 보고서를 생성하며, 기저 질환과 연관 지어 진단적 추론을 포함한다.
• 자신의 프롬프트 학습 기반 메커니즘은 문맥적 단서를 바탕으로 '경미한 이중기저 폐기종'이나 '기저혈관 구조 강조'와 같은 유용한 의료 지식을 성공적으로 캡처한다.