[논문 리뷰] NestedFormer: Nested Modality-Aware Transformer for Brain Tumor Segmentation

Zhaohu Xing, Lequan Yu외 3명|arXiv (Cornell University)|2022. 08. 31.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 다중 모odal 뇌 종양 세분화를 위한 새로운 내재형 모odal 인식 트랜스포머인 NestedFormer을 제안한다. 이는 계층적 융합 메커니즘을 통해 내부 및 상호 모달 간 의존성을 명시적으로 모델링한다. 삼중 방향 공간 주의 모듈과 모달 감응형 게이팅을 통합함으로써 BraTS2020 및 비공개 뇌종양 세포세포 유형 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 종양 세분화에서 1.5% 향상된 Dice 점수와 이전 방법들보다 평균 1.0% 향상된 점수를 기록하였다.

ABSTRACT

Multi-modal MR imaging is routinely used in clinical practice to diagnose and investigate brain tumors by providing rich complementary information. Previous multi-modal MRI segmentation methods usually perform modal fusion by concatenating multi-modal MRIs at an early/middle stage of the network, which hardly explores non-linear dependencies between modalities. In this work, we propose a novel Nested Modality-Aware Transformer (NestedFormer) to explicitly explore the intra-modality and inter-modality relationships of multi-modal MRIs for brain tumor segmentation. Built on the transformer-based multi-encoder and single-decoder structure, we perform nested multi-modal fusion for high-level representations of different modalities and apply modality-sensitive gating (MSG) at lower scales for more effective skip connections. Specifically, the multi-modal fusion is conducted in our proposed Nested Modality-aware Feature Aggregation (NMaFA) module, which enhances long-term dependencies within individual modalities via a tri-orientated spatial-attention transformer, and further complements key contextual information among modalities via a cross-modality attention transformer. Extensive experiments on BraTS2020 benchmark and a private meningiomas segmentation (MeniSeg) dataset show that the NestedFormer clearly outperforms the state-of-the-arts. The code is available at https://github.com/920232796/NestedFormer.

연구 동기 및 목표

• 기존의 다중 모달 MRI 세분화 방법들이 복잡한 상호 및 내부 모달 관계를 모델링하지 못하는 초기 또는 레이어 단위 융합에 의존하는 한계를 해결하기 위해.
• 개선된 종양 및 부종 세분화를 위해 MRI 모달 간 및 내부에서 장거리 공간적 의존성을 효과적으로 포착하는 프레임워크를 개발하기 위해.
• 어떤 수의 MRI 시퀀스를 처리할 수 있는 모달 무관형이며 확장 가능한 아키텍처를 설계하여 기능 융합 및 스킵 연결의 효율성을 향상시키기 위해.
• 스킵 연결에서 저수준 특징을 동적이고 모달 인식형 필터링을 통해 특징 재사용을 향상시키기 위해.

제안 방법

• 모든 MRI 모달에서 계층적 부피 특징을 추출하기 위해 다중 글로벌 풀포머 인코더를 사용하며, 전반적인 공간 일관성을 강조한다.
• 새로운 내재형 모달 인식 기능 융합(NMaFA) 모듈은 내재 융합을 수행한다: 먼저 삼중 방향 공간 주의 트랜스포머를 통해 내부 모달 간 장거리 의존성을 모델링하고, 그 다음 교차 모달 주의 트랜스포머를 사용해 다양한 모달 간 보완 정보를 통합한다.
• 삼중 방향 공간 주의(TSA) 메커니즘은 세 가지 수직 축을 동시에 처리함으로써 3D 공간 일관성 계산을 가속화한다.
• 모달 감응형 게이팅(MSG) 모듈은 스킵 연결 이전에 저수준 특징을 동적으로 필터링하고 재가중하여 디코더에서 모달 인식형 특징 재사용을 가능하게 한다.
• 단일 디코더와 다중 인코더 입력을 사용하여 계산 효율성을 유지하면서 동시에 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 표준 초기 또는 중간 수준 융합과 비교해 복잡한 상호 및 내부 모달 관계를 보다 효과적으로 활용할 수 있는 내재형 계층적 융합 전략이 다중 모달 MRI에서 유의미한 성능 향상을 이끌 수 있는가?
• RQ2 삼중 방향 공간 주의의 통합은 표준 자기 주의와 비교해 부피형 MRI 데이터에서 3D 공간 일관성 모델링을 향상시키는가?
• RQ3 모달 감응형 게이팅이 스킵 연결에서의 특징 재사용을 향상시켜 세분화 정확도를 향상시키는가?
• RQ4 제안된 NestedFormer은 공개(BraTS2020) 및 비공개(MeniSeg) 뇌종양 세분화 벤치마크에서 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• BraTS2020 벤치마크에서 NestedFormer은 종양 세분화에 대해 평균 Dice 점수 0.857, 부종에 대해 0.801을 기록하여 비교된 모든 최신 기술 수준 방법들을 능가하였다.
• 비공개 MeniSeg 데이터셋에서 NestedFormer은 종양 세분화에서 최고의 베이스라인(MAML, 0.819) 대비 1.5% 절대적인 Dice 점수 향상을 기록하였다(0.834).
• MeniSeg에서 부종 세분화의 경우 HD95 점수가 6.173로 가장 낮아 경계 정확도가 뛰어나다는 것을 나타냈다.
• 절연 연구 결과, NMaFA 모듈과 MSG 모듈 각각이 성능 향상에 기여하였으며, 전체 모델은 MeniSeg에서 평균 Dice 점수 0.765를 기록하여 가장 높은 성능를 달성하였다.
• BraTS2020 및 MeniSeg에서의 시각적 비교 결과, NestedFormer는 모든 경쟁 방법들보다 더 정밀하고 완전한 종양 및 부종 세분화 결과를 도출하였다.