[논문 리뷰] Multi-modal Brain Tumor Segmentation via Missing Modality Synthesis and Modality-level Attention Fusion

Ziqi Huang, Li Lin외 3명|arXiv (Cornell University)|2022. 03. 09.

Brain Tumor Detection and Classification인용 수 11

한 줄 요약

이 논문은 다중 모odal 뇌 종양 세그멘테이션을 위한 엔드 투 엔드 프레임워크인 MAF-Net을 제안한다. 이는 패치 기반 대비 학습을 통해 부족한 T1ce MRI 스캔을 합성하고, 모odal 수준의 어텐션을 통해 모달리티를 융합한다. T1ce 합성 SSIM 0.8879와 PSNR 22.78를 기록하며 BraTS2020에서 종양 코어 세그멘테이션에 대해 67.9%의 Dice 스코어를 달성하여 합성과 세그멘테이션 작업 간 상호 강화 효과를 입증한다.

ABSTRACT

Multi-modal magnetic resonance (MR) imaging provides great potential for diagnosing and analyzing brain gliomas. In clinical scenarios, common MR sequences such as T1, T2 and FLAIR can be obtained simultaneously in a single scanning process. However, acquiring contrast enhanced modalities such as T1ce requires additional time, cost, and injection of contrast agent. As such, it is clinically meaningful to develop a method to synthesize unavailable modalities which can also be used as additional inputs to downstream tasks (e.g., brain tumor segmentation) for performance enhancing. In this work, we propose an end-to-end framework named Modality-Level Attention Fusion Network (MAF-Net), wherein we innovatively conduct patchwise contrastive learning for extracting multi-modal latent features and dynamically assigning attention weights to fuse different modalities. Through extensive experiments on BraTS2020, our proposed MAF-Net is found to yield superior T1ce synthesis performance (SSIM of 0.8879 and PSNR of 22.78) and accurate brain tumor segmentation (mean Dice scores of 67.9%, 41.8% and 88.0% on segmenting the tumor core, enhancing tumor and whole tumor).

연구 동기 및 목표

• 뇌 종양 진단에서 대조제를 투여하고 추가 스캔 시간이 필요한 부족한 T1ce MRI 스캔 문제를 해결하기 위해.
• 가용한 T1, T2 및 FLAIR 시퀀스에서 고품질의 T1ce 영상을 합성함으로써 뇌 종양 세그멘테이션 성능을 향상시키기 위해.
• 모달리티 합성과 종양 세그멘테이션을 공동 최적화하는 통합 프레임워크를 개발하여 두 작업 간 상호 이점을 활용하기 위해.
• 실제 임상 환경에서 쌍방향 T1ce 스캔이 흔치 않은 점을 감안해, 쌍방향 데이터 없이도 학습이 가능하도록 하여 실용성을 높이기 위해.

제안 방법

• T1, T2 및 FLAIR 영상에서 T1ce 합성을 위해 다중 모달 잠재 특징을 강건하게 추출하기 위해 패치 기반 대비 학습 전략을 제안한다.
• 목표 작업에 대한 관련성에 따라 다양한 MRI 모달리티에 대해 동적으로 어휘 가중치를 할당하는 모달리티 수준의 어텐션 융합 블록을 도입한다.
• T1ce 영상을 생성하면서 동시에 세그멘테이션 마스크를 출력할 수 있도록 듀얼 헤드 디코더를 활용하여 엔드 투 엔드 공동 최적화를 가능하게 한다.
• 쌍방향 T1ce 데이터가 필요 없이 패치 수준의 자기지도 대비 손실을 적용하여 특징 표현 학습을 향상시킨다.
• 합성된 T1ce 영상의 현실감을 향상시켜 고도로 정교한 시각적 품질을 확보하기 위해 GAN 기반의 디스크리미네이터를 적용한다.
• 쌍방향 T1ce 스캔이 필요 없이, 쌍방향 학습 데이터를 사용하여 전체 네트워크를 엔드 투 엔드 방식으로 학습시킨다.

실험 결과

연구 질문

• RQ1 패치 기반 대비 학습이 T1, T2 및 FLAIR 시퀀스에서 부족한 T1ce MRI 스캔을 합성하기 위해 효과적으로 다중 모달 특징을 추출할 수 있는가?
• RQ2 고정 또는 채널 수준 융합 대비 모달리티 수준의 어텐션 융합이 합성된 T1ce의 품질과 세그멘테이션 성능을 향상시키는가?
• RQ3 쌍방향 데이터 없이도 T1ce 합성과 종양 세그멘테이션 작업을 공동 최적화하면, 두 작업 모두 성능 향상이 이루어지는가?
• RQ4 제안된 프레임워크는 T1ce 합성 정밀도와 후속 세그멘테이션 정확도 측면에서 최신 기술 기반 GAN 기반 이미지 번역 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• MAF-Net은 BraTS2020에서 T1ce 합성 SSIM 0.8879와 PSNR 22.78를 기록하여 CycleGAN(SSI: 0.8574, PSNR: 21.62) 및 기타 최신 기술 모델을 능가한다.
• 모델은 종양 코어(TC) 세그멘테이션에 평균 67.9%의 Dice 스코어, 강화 종양(ET)에 대해 41.8%, 전체 종양(WT)에 대해 88.0%를 기록한다.
• 학습 시 쌍방향 T1ce 데이터가 없음에도 불구하고, MAF-Net은 쌍방향 데이터로 학습된 몇몇 모델을 능가하며 특히 강화 종양과 종양 코어의 세그멘테이션 성능에서 뛰어난 성능을 보였다.
• 시각화 결과에서 MAF-Net은 더 정확한 종양 위치와 더 선명한 경계를 가진 T1ce 영상을 생성하는 것으로 나타났으며, 이는 세그멘테이션에 직접적인 이점을 제공한다.
• 모달리티 수준의 어텐션 융합 메커니즘이 각 MRI 모달리티의 관련 특징을 효과적으로 강조하여 특징 표현 품질 향상과 세그멘테이션의 강인성을 향상시켰다.
• 합성과 세그멘테이션 작업의 공동 학습은 상호 성능 향상을 이끌어내어, 이 맥락에서 영상 생성과 세그멘테이션이 상호 보완적이라는 가설을 확인시켰다.