[논문 리뷰] PRIOR: Prototype Representation Joint Learning from Medical Images and Reports

Pujin Cheng, Lin Li외 4명|arXiv (Cornell University)|2023. 07. 24.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 문장 수준의 프로토타입 메모리 백과 교차 모odal 조건부 재구성 방식을 사용하여 의료 영상과 보고서 간의 전역적이고 국소적인 정렬을 동시에 학습하는 프로토타입 기반 표현 학습 프레임워크인 PRIOR을 제안한다. 프로토타입 분류와 비자기적 생성을 통해 미세한 시각적 및 언어적 특징을 모델링함으로써, 다양한 데이터셋에서 다섯 가지 하류 작업 전반에 걸쳐 최신 기준 성능을 달성하였으며, 100% 훈련 데이터에서 RSNA 객체 탐지 작업에서 mAP 22.20%를 기록하였다.

ABSTRACT

Contrastive learning based vision-language joint pre-training has emerged as a successful representation learning strategy. In this paper, we present a prototype representation learning framework incorporating both global and local alignment between medical images and reports. In contrast to standard global multi-modality alignment methods, we employ a local alignment module for fine-grained representation. Furthermore, a cross-modality conditional reconstruction module is designed to interchange information across modalities in the training phase by reconstructing masked images and reports. For reconstructing long reports, a sentence-wise prototype memory bank is constructed, enabling the network to focus on low-level localized visual and high-level clinical linguistic features. Additionally, a non-auto-regressive generation paradigm is proposed for reconstructing non-sequential reports. Experimental results on five downstream tasks, including supervised classification, zero-shot classification, image-to-text retrieval, semantic segmentation, and object detection, show the proposed method outperforms other state-of-the-art methods across multiple datasets and under different dataset size settings. The code is available at https://github.com/QtacierP/PRIOR.

연구 동기 및 목표

• 의료 영상에서 미세한, 국소성 인식 특징을 포착하는 데에 기존의 시각-언어 사전학습 방법의 한계를 해결하기 위해.
• 구조화된 임상 보고서 의미를 활용하여 병변 경계 및 증상 기술과 같은 저수준 특징 학습을 향상시키기 위해.
• 마스크된 이미지와 문장 프로토타입의 조건부 재구성을 통해 효과적인 교차 모달 정보 교환을 가능하게 하기 위해.
• 비자기적, 병렬 디코딩 전략을 통해 순차적 자기적 생성을 피하면서도 비순차적인 의료 보고서를 재구성하기 위해.
• 프로토타입 기반 표현 학습의 효과성을 입증하여 하류 의료 영상 분석 작업의 성능 향상에 기여하기 위해.

제안 방법

• 문장 수준의 프로토타입 메모리 백을 구축하여 문장 표현을 범주형 프로토타입으로 이산화함으로써, 의미적으로 유사한 임상 기술을 군집화할 수 있도록 한다.
• 교차 모달 조건부 재구성 모듈을 통해 보고서 특징을 사용하여 마스크된 이미지를 재구성하고, 그 반대로도 마찬가지로 수행함으로써 모달 간 조건부 상호정보를 최대화한다.
• 이원 매칭을 활용한 비자기적 생성 파라디그마를 통해 문장 프로토타입을 병렬로 재구성함으로써 순차적 자기적 생성을 피한다.
• 이미지 부분 영역과 보고문 문장 간의 대조 손실을 통해 국소적 정렬을 강제하고, 공간적으로 인접한 음성 샘플을 방지하기 위한 수정된 샘플링 전략을 적용한다.
• 국소적 특징에 대한 어텐션 풀링을 통해 전역 표현을 확보하고, 프로토타입 기반 군집화를 통해 국소적 특징를 정밀하게 보정한다.
• 종합적으로 전역 정렬, 국소 정렬, 교차 모달 재구성, 프로토타입 메모리 백을 종합적으로 통합한 엔드 투 엔드 훈련 체계를 구현한다.

Figure 1: Illustration of the proposed sentence-wise prototype memory bank. The prototype embedding can group sentences sharing similar information. Each sentence representation is updated to the nearest prototype after querying.

실험 결과

연구 질문

• RQ1 프로토타입 기반 표현 학습은 의료 보고서와 영상에서 미세한 임상적 관련 특징을 모델링하는 데에 효과적인가?
• RQ2 교차 모달 조건부 재구성은 분할 및 객체 탐지와 같은 국소성 인식 작업을 위한 저수준 특징 학습을 어떻게 향상시키는가?
• RQ3 비자기적, 병렬 디코딩 전략은 비순차적인 의료 보고서 재구성에 있어 자기적 생성 방식을 능가하는가?
• RQ4 문장 수준의 프로토타입 메모리 백은 표현 군집화와 하류 작업 일반화에 얼마나 기여하는가?
• RQ5 프레임워크의 개별 구성 요소—국소 정렬, 재구성, 프로토타입 메모리—는 전체 성능에 어떤 기여를 하는가?

주요 결과

• 1% SIIM 분류 작업에서 PRIOR는 87.27%의 정확도를 기록하여 이전 최고 성능 방법보다 2.42%p 높은 성능을 보였다.
• 1% SIIM 분할 작업에서 PRIOR는 20.43%의 Dice 스코어를 달성하여 모든 구성 요소를 포함한 기준 모델 대비 2.55p 향상되었다.
• RSNA 객체 탐지 작업에서 PRIOR는 100% 훈련 데이터 조건에서 mAP(0.5:0.95) 22.20%를 기록하여 이전 최고 성능보다 0.55p 높았다.
• 절단 실험 결과, 국소 정렬, 교차 모달 재구성, 문장 프로토타입 메모리 백 등 모든 구성 요소가 필수적임을 확인하였으며, 핵심 작업에서 변형 모델 대비 최대 4.5% 향상된 성능을 기록했다.
• t-SNE 시각화 결과, PRIOR는 다른 방법에 비해 더 명확하고 군집 형태의 표현을 생성함을 확인하여 더 나은 의미 분리 능력을 보였다.
• 교차 모달 어텐션 맵을 통해 모델이 특정 보고문 문장에 해당하는 관련 이미지 영역을 정확히 국소화하고 있음을 확인하였으며, 이는 해석 가능성과 정렬 품질을 검증한다.

Figure 2: The overall framework of the proposed PRIOR. Given a pair of medical image and report, two independent encoders first encode each modality into a common embedding space. Then, the cross-modality alignment module aligns both global and local information between the two modalities. Finally,