[논문 리뷰] MedPrompt: Cross-Modal Prompting for Multi-Task Medical Image Translation

Xuhang Chen, Chi‐Man Pun외 1명|arXiv (Cornell University)|2023. 10. 04.

Multimodal Machine Learning ApplicationsComputer Science인용 수 3

한 줄 요약

MedPrompt는 교차 모달 프롬프트 프레임워크를 제안하여 다중 작업 의료 영상 번역을 위해 자기 적응형 프롬프트 블록과 프롬프트 추출 및 융합 메커니즘을 활용하며, 전역적 특징 학습을 위한 트랜스포머 인코더로 강화한다. 단일 단계 학습을 통해 다섯 개의 데이터셋과 네 가지 모달리티 쌍에서 최신 기술 성능을 달성하며, 뛰어난 시각적 품질과 일반화 능력을 입증한다.

ABSTRACT

Cross-modal medical image translation is an essential task for synthesizing missing modality data for clinical diagnosis. However, current learning-based techniques have limitations in capturing cross-modal and global features, restricting their suitability to specific pairs of modalities. This lack of versatility undermines their practical usefulness, particularly considering that the missing modality may vary for different cases. In this study, we present MedPrompt, a multi-task framework that efficiently translates different modalities. Specifically, we propose the Self-adaptive Prompt Block, which dynamically guides the translation network towards distinct modalities. Within this framework, we introduce the Prompt Extraction Block and the Prompt Fusion Block to efficiently encode the cross-modal prompt. To enhance the extraction of global features across diverse modalities, we incorporate the Transformer model. Extensive experimental results involving five datasets and four pairs of modalities demonstrate that our proposed model achieves state-of-the-art visual quality and exhibits excellent generalization capability.

연구 동기 및 목표

• 다양한 모달리티에서 교차 모달 및 전역적 특징을 효과적으로 캡처하지 못하는 기존 의료 영상 번역 모델의 한계를 해결하기 위해.
• 각 쌍에 대해 재학습이 필요 없이 다양한 모달리티 쌍에 일반화되는 다재다능한 다중 작업 프레임워크를 개발하기 위해.
• 트랜스포머를 통한 전역적 맥락 모델링과 모달리티 특화 프롬프트를 통합하여 번역 정확도를 향상시키기 위해.
• 다양한 모달리티 번역 작업을 동시에 최적화하는 단일 단계 학습을 통해 학습 복잡도를 감소시키기 위해.

제안 방법

• 자기 적응형 프롬프트 블록은 모달리티 특화 프롬프트를 동적으로 사용하여 번역 네트워크를 지도함으로써 다양한 입력-출력 모달리티 쌍에 적응할 수 있도록 한다.
• 프롬프트 추출 블록(PEB)은 각 입력 모달리티의 고유한 특징을 인코딩하여 모달리티 특화 프롬프트 가중치를 생성한다.
• 프롬프트 융합 블록(PFB)은 목표 모달리티에 대한 관련성에 따라 추출된 프롬프트를 적응적으로 융합함으로써 교차 모달 특징 정렬을 향상시킨다.
• 장거리 공간적 의존성과 전역 맥락을 캡처하기 위해 트랜스포머 기반 인코더를 통합하여 다양한 모달리티에서 특징 표현을 향상시킨다.
• 다양한 모달리티 번역 작업을 동시에 최적화하는 단일 단계 학습 프로세스를 사용하여 학습 효율성과 일반화 능력을 향상시킨다.
• 생성된 영상의 구조적 및 질감 적합성을 보장하기 위해 사이클 일致성 손실과 인지적 손실을 함께 사용하여 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크는 각 쌍에 대해 별도의 모델이 필요 없이 다수의 의료 영상 모달리티 쌍을 효과적으로 번역할 수 있는가?
• RQ2 모달리티 특화 교차 모달 특징를 효율적으로 인코딩하고 융합하여 번역 정확도를 향상시킬 수 있는가?
• RQ3 트랜스포머 기반 아키텍처를 통합할 경우 다중 작업 의료 영상 번역에서 전역적 특징 학습이 얼마나 향상되는가?
• RQ4 기존의 CNN 기반 또는 GAN 기반 방법과 비교해 볼 때 제안된 프롬프트 메커니즘이 다양한 영상 모달리티 간 일반화 능력을 향상시키는가?
• RQ5 단일 단계 학습 프로세스가 다수의 모달리티 번역 작업에서 최신 기술 성능을 달성할 수 있는가?

주요 결과

• MedPrompt는 다섯 개의 데이터셋과 네 가지 모달리티 쌍에서 최신 기술 성능을 달성하며, 정량적 지표와 시각적 품질 양면에서 기존 방법을 능가한다.
• 프롬프트 추출 블록(PEB) 또는 프롬프트 융합 블록(PFB)을 제거할 경우 PSNR는 약 3 dB, SSIM은 0.7 dB, MAE는 2 dB 감소하여, 다중 작업 학습에서 이들의 핵심적 역할을 입증한다.
• 트랜스포머 블록을 제거할 경우 PSNR는 2 dB 감소하고, SSIM은 0.03 dB 감소하며, MAE는 0.5 dB 감소하여 전역적 특징 학습에 기여함을 확인한다.
• 시각적 비교 결과, MedPrompt는 모든 데이터셋과 모달리티 쌍에서 형상, 세부 사항, 질감 적합성 측면에서 정답에 가장 가까운 결과를 생성한다.
• 모든 모달리티 번역에 대해 단일 학습 프로세스만 필요로 하여, 다단계 또는 쌍별 특화 접근 방식에 비해 학습 편의성이 크게 향상된다.
• 모델는 강력한 일반화 능력을 보이며, MRI에서 CT, T1에서 T2, CT에서 CBCT 등 다양한 모달리티 간 번역을 피팅 조정 없이도 성공적으로 수행한다.