[논문 리뷰] SMU-Net : Style matching U-Net for brain tumor segmentation with missing modalities

Reza Azad, Nika Khosravi외 1명|arXiv (Cornell University)|2022. 01. 01.

Brain Tumor Detection and Classification인용 수 20

한 줄 요약

SMU-Net는 콘텐츠-스타일 매칭을 통해 전면 모odal 뇌 종양 세그멘테이션 모델에서 정보성 특징을 결손 모달리티 네트워크로 휘발시키는 공훈련 U-Net 아키텍처를 제안한다. 특징을 콘텐츠 및 스타일 표현으로 분해하고, 적대적 스타일 매칭을 적용하여 BraTS 2018에서 최신 기술 수준의 성능을 달성하며, 단일 모달리티 시나리오에서 이전 방법들보다 최대 20% 향상된 성능을 보였다.

ABSTRACT

Gliomas are one of the most prevalent types of primary brain tumours, accounting for more than 30\% of all cases and they develop from the glial stem or progenitor cells. In theory, the majority of brain tumours could well be identified exclusively by the use of Magnetic Resonance Imaging (MRI). Each MRI modality delivers distinct information on the soft tissue of the human brain and integrating all of them would provide comprehensive data for the accurate segmentation of the glioma, which is crucial for the patient's prognosis, diagnosis, and determining the best follow-up treatment. Unfortunately, MRI is prone to artifacts for a variety of reasons, which might result in missing one or more MRI modalities. Various strategies have been proposed over the years to synthesize the missing modality or compensate for the influence it has on automated segmentation models. However, these methods usually fail to model the underlying missing information. In this paper, we propose a style matching U-Net (SMU-Net) for brain tumour segmentation on MRI images. Our co-training approach utilizes a content and style-matching mechanism to distill the informative features from the full-modality network into a missing modality network. To do so, we encode both full-modality and missing-modality data into a latent space, then we decompose the representation space into a style and content representation. Our style matching module adaptively recalibrates the representation space by learning a matching function to transfer the informative and textural features from a full-modality path into a missing-modality path. Moreover, by modelling the mutual information, our content module surpasses the less informative features and re-calibrates the representation space based on discriminative semantic features. The evaluation process on the BraTS 2018 dataset shows a significant results.

연구 동기 및 목표

• 추론 시 하나 이상의 MRI 모달리티(T1, T1c, T2, FLAIR)가 결손된 상황에서 뇌 종양 세그멘테이션 문제를 해결한다.
• 기존 방법들이 결손된 모달리티의 특징적 무늬 및 스타일 정보를 재구성하지 못하는 한계를 극복한다.
• 전면 모달리티 모델에서의 지식 휘발을 통해 데이터가 적거나 불완전한 MRI 환경에서의 일반화 능력과 성능을 향상시킨다.
• 단일 모달리티만 제공될 경우에도 높은 세그멘테이션 정확도를 유지할 수 있는 통합 프레임워크를 개발한다.
• 세그멘테이션, 일관성, 스타일, 콘텐츠 손실를 함께 최적화하여 강력한 특징 학습을 위한 엔드 투 엔드 훈련을 가능하게 한다.

제안 방법

• 전면 모달리티 U-Net과 결손 모달리티 U-Net을 공동으로 훈련시켜 정보성 특징을 휘발시키는 공훈련 전략을 사용한다.
• 각 모달리티 경로에 대해 별도의 인코더를 사용해 인코딩된 특징을 콘텐츠 및 스타일 표현으로 분해한다.
• 전면 모달리티 경로에서의 무늬 및 구조적 특징을 결손 모달리티 경로로 전달하기 위해 비선형 함수를 학습하는 적대적 스타일 매칭 모듈을 구현한다.
• 정보성이 떨어지는 특징을 억제하고 구분력 있는 의미적 표현을 강조하기 위해 컨텍스트 손실(Lcontent)을 적용한다.
• 잠재 표현을 정렬하기 위해 두 경로 간의 특징 일관성에 대해 일관성 손실(Lconsistency)을 강제 적용한다.
• 세그멘테이션, 일관성, 스타일, 콘텐츠 손실를 결합한 공동 손실 함수를 사용하여 학습 가능한 가중치(λ1–λ4)를 포함해 전체 네트워크를 엔드 투 엔드로 최적화한다.

실험 결과

연구 질문

• RQ1 전면 모달리티 세그멘테이션 모델에서 결손 모달리티 네트워크로 지식을 효과적으로 전달할 수 있는 공훈련 프레임워크는 가능한가?
• RQ2 특징 표현을 콘텐츠 및 스타일 구성요소로 분리하는 것이 결손 모달리티 세그멘테이션 작업의 성능 향상에 기여하는가?
• RQ3 분포 기반 또는 무늬 기반 스타일 전달 방식과 비교해 적대적 스타일 매칭은 결손 MRI 모달리티 특징을 재구성하는 데 얼마나 효과적인가?
• RQ4 모달리티 정보가 불완전할 경우 콘텐츠 기반 특징 재조정이 세그멘테이션 정확도 향상에 얼마나 기여하는가?
• RQ5 제안된 방법은 현실적인 결손 모달리티 조건에서 BraTS 2018에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 전면 모달리티 설정에서 SMU-Net은 전체 종양(WT) 지표에서 평균 Dice 스코어 88.4를 기록하여 U-HeMIS(85.7), HVED(87.3), ACN(87.5)를 능가했다.
• 단일 모달리티 시나리오에서 SMU-Net은 전체 종양(WT)에 대해 Dice 스코어 87.9를 기록하여 U-HeMIS 및 HVED와 같은 베이스라인 방법보다 20% 향상된 성능을 보였다.
• 적대적 스타일 매칭 모듈은 WT에 대해 88.4 Dice를 기록하여 분포 기반(87.0) 및 무늬 기반(86.5) 대안보다 뛰어난 성능을 보였다.
• 제거 실험 결과, 콘텐츠 모듈을 제거하면 성능이 1~2% 감소하여 비용이 낮은 특징 억제에 기여하는 것을 확인했다.
• 모든 모듈을 포함한 전체 SMU-Net은 모든 지표(WT, CT, ET) 평균 Dice 스코어 68.47을 기록하여 약화된 변종들보다 뚜렷이 뛰어난 성능을 보였다.
• 정성적 결과는 단일 MRI 모달리티만 입력으로 제공되더라도 SMU-Net이 정확하고 타당한 세그멘테이션 맵을 생성함을 보여주었다.