[논문 리뷰] PromptMRG: Diagnosis-Driven Prompts for Medical Report Generation

Haibo Jin, Haoxuan Che외 2명|arXiv (Cornell University)|2023. 08. 24.

Topic ModelingComputer Science인용 수 3

한 줄 요약

PromptMRG는 질병 분류 브랜치와 토큰 기반 프롬프트를 통합하여 텍스트 생성을 안내함으로써 진단 정확도를 향상시키는 진단 기반 프롬프트 프레임워크를 제안한다. 교차 모달 특징 강화와 자가 적응형 질병 균형 학습을 결합하여 클래스 불균형 문제를 해결함으로써, 두 벤치마크에서 최신 기술 수준의 임상 유효성 성능을 달성한다.

ABSTRACT

Automatic medical report generation (MRG) is of great research value as it has the potential to relieve radiologists from the heavy burden of report writing. Despite recent advancements, accurate MRG remains challenging due to the need for precise clinical understanding and disease identification. Moreover, the imbalanced distribution of diseases makes the challenge even more pronounced, as rare diseases are underrepresented in training data, making their diagnostic performance unreliable. To address these challenges, we propose diagnosis-driven prompts for medical report generation (PromptMRG), a novel framework that aims to improve the diagnostic accuracy of MRG with the guidance of diagnosis-aware prompts. Specifically, PromptMRG is based on encoder-decoder architecture with an extra disease classification branch. When generating reports, the diagnostic results from the classification branch are converted into token prompts to explicitly guide the generation process. To further improve the diagnostic accuracy, we design cross-modal feature enhancement, which retrieves similar reports from the database to assist the diagnosis of a query image by leveraging the knowledge from a pre-trained CLIP. Moreover, the disease imbalanced issue is addressed by applying an adaptive logit-adjusted loss to the classification branch based on the individual learning status of each disease, which overcomes the barrier of text decoder's inability to manipulate disease distributions. Experiments on two MRG benchmarks show the effectiveness of the proposed method, where it obtains state-of-the-art clinical efficacy performance on both datasets. The code is available at https://github.com/jhb86253817/PromptMRG.

연구 동기 및 목표

• 기존 의료 보고서 생성(MRG) 모델에서 낮은 진단 정확도 문제를 해결하기 위해, 강력한 언어적 유창성에도 불구하고 임상적으로 정확한 보고서를 생성하지 못하는 문제를 해결한다.
• 현재 MRG 시스템에서 데이터 불균형과 낮은 진단 신뢰도로 인해 어려움을 겪는 희귀 질환의 성능 향상을 도모한다.
• 전용 분류 브랜치에서 도출된 진단 예측을 통해 보고서 생성을 명시적으로 안내하여 MRG 모델과 임상적 요구 간 격차를 해소한다.
• 텍스트 디코더가 질병 분포를 제어할 수 없는 문제를 해결하기 위해, 각 질병의 개별 학습 상태에 따라 최적화 목표를 조정하는 자가 적응형 손실 메커니즘을 도입한다.

제안 방법

• 입력 이미지마다 진단 예측을 생성하기 위해 추가적인 질병 분류 브랜치를 갖춘 이중 브랜치 인코더-디코더 아키텍처를 사용한다.
• 진단 기반 프롬프트(DDP)는 분류 결과를 토큰 프롬프트로 변환하여 디코더에 통합함으로써 명시적인 진단 맥락을 제공하고 보고서 생성을 안내한다.
• 교차 모달 특징 강화(CFE)는 사전 학습된 CLIP 모델을 활용하여 데이터베이스에서 유사한 이미지-보고서 쌍을 검색하고, 동적 집합을 통해 쿼리 이미지의 특징을 강화한다.
• 자기 적응형 질병 균형 학습(SDL)은 분류 브랜치에 적응형 로짓 조정 손실을 적용하여 각 질병의 개별 학습 상태에 따라 최적화 목표를 조정한다.
• 이러한 구성 요소들을 종합적으로 통합하여 디코더가 언어적으로 자연스럽고 동시에 진단적으로 정확한 보고서를 생성할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 진단 기반 프롬프트는 의료 보고서 생성 모델의 임상 유효성에 향상 효과를 줄 수 있는가?
• RQ2 CLIP를 활용한 교차 모달 특징 강화는 질병 분류 및 보고서 생성 정확도에 어떻게 기여하는가?
• RQ3 자기 적응형 손실 학습은 불균형 MRG 데이터셋에서 희귀 질환의 성능 저하를 효과적으로 완화할 수 있는가?
• RQ4 진단 분류를 보고서 생성과 통합함으로써 기존 MRG 방법보다 실제 임상 결과와 더 잘 일치하는 성과를 낼 수 있는가?

주요 결과

• PromptMRG는 MIMIC-CXR와 NIH ChestX-ray 데이터셋에서 모두 최신 기술 수준의 임상 유효성(CE) 성능을 달성하여 기존 SOTA 방법을 초월한다.
• 토큰 프롬프트의 사용으로 기준 모델 대비 F1 스코어가 6.4%p 상승했으며, 텍스트 및 특징 프롬프트보다 유의미하게 뛰어난 성능을 보였다.
• 희귀 질환의 경우 SDL 모듈 덕분에 평균 F1 스코어가 8%p 향상되었고, 일부 질환은 12% 이상 개선되었다.
• 가장 희귀한 질환의 F1 스코어는 상당히 향상되었지만, 평균 F1 스코어는 단지 1.2%p 상승하여, 기존 평가 지표가 희귀 질환 성능을 다소 과소 평가할 수 있음을 시사한다.
• CFE 모듈은 CLIP를 활용해 의미적이고 시각적으로 유사한 보고서를 검색하여 진단 정확도를 향상시켰고, 분류를 위한 특징 표현을 강화했다.
• 명시적인 진단 프롬프트의 중요성을 입증하였으며, 특징 및 임bedding 프롬프트보다 토큰 프롬프트가 더 우수한 성능을 보여, 구조화된 진단 입력의 필수성을 강조한다.