[논문 리뷰] CKD-TransBTS: Clinical Knowledge-Driven Hybrid Transformer with Modality-Correlated Cross-Attention for Brain Tumor Segmentation

Jianwei Lin, Jiatai Lin외 13명|arXiv (Cornell University)|2022. 07. 15.

Brain Tumor Detection and Classification인용 수 4

한 줄 요약

이 논문은 뇌 종양 세분화를 위한 임상 지식 기반 하이브리드 트랜스포머 모델인 CKD-TransBTS를 제안한다. 이 모델은 방사선 진단 원칙에 기반해 MRI 모odalities를 생물학적으로 의미 있는 쌍(T1/T1Gd 및 T2/T2FLAIR)으로 재구성한다. 모달리티 관련 교차 어텐션 블록(MCCA)과 Trans&CNN 특징 캘리브레이션 블록(TCFC)을 도입함으로써 BraTS 2021에서 최고 성능을 기록하였으며, 평균 Dice 스코어는 0.9066, HD95는 6.22를 기록하여 경계 정밀도를 향상시키고 가짜 양성(false positive)을 감소시켰다.

ABSTRACT

Brain tumor segmentation (BTS) in magnetic resonance image (MRI) is crucial for brain tumor diagnosis, cancer management and research purposes. With the great success of the ten-year BraTS challenges as well as the advances of CNN and Transformer algorithms, a lot of outstanding BTS models have been proposed to tackle the difficulties of BTS in different technical aspects. However, existing studies hardly consider how to fuse the multi-modality images in a reasonable manner. In this paper, we leverage the clinical knowledge of how radiologists diagnose brain tumors from multiple MRI modalities and propose a clinical knowledge-driven brain tumor segmentation model, called CKD-TransBTS. Instead of directly concatenating all the modalities, we re-organize the input modalities by separating them into two groups according to the imaging principle of MRI. A dual-branch hybrid encoder with the proposed modality-correlated cross-attention block (MCCA) is designed to extract the multi-modality image features. The proposed model inherits the strengths from both Transformer and CNN with the local feature representation ability for precise lesion boundaries and long-range feature extraction for 3D volumetric images. To bridge the gap between Transformer and CNN features, we propose a Trans&CNN Feature Calibration block (TCFC) in the decoder. We compare the proposed model with five CNN-based models and six transformer-based models on the BraTS 2021 challenge dataset. Extensive experiments demonstrate that the proposed model achieves state-of-the-art brain tumor segmentation performance compared with all the competitors.

연구 동기 및 목표

• 기존 뇌 종양 세분화 모델들이 임상적 근거 없이 다중 모달리틱 MRI 융합을 일반적인 특징 연결로 처리하는 데서 비롯되는 한계를 해결하기 위해.
• 임상의가 종양의 강화 여부를 평가할 때 T1/T1Gd를 비교하고 부종 여부를 평가할 때 T2/T2FLAIR를 비교하는 방사선 진단 지식을 모델 아키텍처에 통합하기 위해.
• 모달리티 인식 융합 메커니즘을 설계하여, 특히 병변 경계 및 가짜 양성 감소에 중점을 두고 세분화 정확도를 향상시키기 위해.
• 디코더에서 새로운 특징 캘리브레이션 블록을 통해 CNN과 트랜스포머 특징 간의 표현 갭을 해소하기 위해.
• 딥 러닝 아키텍처에 임상 사전 지식를 통합함으로써 레이블 감독을 초월해 모델 일반화 능력과 성능을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 입력 MRI 모달리티는 임상 영상 원칙과 진단 관련성에 기반해 두 쌍으로 재구성된다: (T1, T1Gd) 및 (T2, T2FLAIR).
• 이중 브랜치 하이브리드 인코더가 설계되어 각 브랜치가 CNN과 트랜스포머 블록의 조합을 통해 한 쌍의 모달리티를 처리함으로써 국소적 및 장거리 특징을 추출한다.
• 모달리티 관련 교차 어텐션(MCCA) 블록은 쌍으로 연결된 모달리티 간의 교차 어텐션을 가능하게 하여, 모달리티별 특징 상관관계를 학습함으로써 특징 표현을 향상시킨다.
• 디코더에 Trans&CNN 특징 캘리브레이션(TCFC) 블록이 도입되어 트랜스포머 및 CNN 브랜치의 특징을 정렬하고 캘리브레이션함으로써 도메인 이동과 편향을 감소시킨다.
• 모델는 BraTS 2021 데이터셋에서 표준 평가 지표인 Dice 스코어와 하우스도르프 거리(HD95)를 사용하여 엔드 투 엔드로 훈련된다.
• 제거 분석을 통해 입력 수준, 특징 수준, 그리고 제안된 모달리티 쌍 융합 전략(MCCA 포함)을 비교한다.

실험 결과

연구 질문

• RQ1 임상적으로 의미 있는 쌍으로 MRI 모달리티를 재구성함으로써 뇌 종양 세분화 성능 향상이 가능한가?
• RQ2 모달리티 관련 교차 어텐션 메커니즘이 기존의 특징 수준 또는 입력 수준 융합 전략보다 다중 모달리틱 MRI 세분화에서 우월한가?
• RQ3 전용 특징 캘리브레이션 블록을 갖춘 하이브리드 트랜스포머-CNN 아키텍처가 경계 정밀도 향상과 가짜 양성 감소에 기여하는가?
• RQ4 임상 진단 지식을 통합함으로써 레이블 감독을 초월해 모델 일반화 능력이 얼마나 향상되는가?
• RQ5 제안된 모델은 BraTS 2021 벤치마크에서 최고 성능 기반 모델들과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 CKD-TransBTS 모델은 BraTS 2021 테스트 세트에서 평균 Dice 스코어 0.9066을 기록하여 비교된 모든 CNN 기반 및 트랜스포머 기반 모델을 능가한다.
• HD95 거리는 6.22를 기록하여 특히 강화 종양(ET)의 경우 HD95가 5.93로 경계 정밀도가 뛰어나다는 것을 시사한다.
• 제거 분석 결과, T1과 T1Gd를 한 쌍으로 묶는 것이 가장 우수한 성능을 내었으며, ET에 대해 Dice 스코어는 0.8850를 기록하여 임상 지식이 융합 설계에 있어 가치가 있음을 입증한다.
• MCCA 블록은 기존 융합 전략 대비 세분화 정확도를 크게 향상시키며, 입력 수준 융합 대비 최대 2.5 mm까지 HD95를 감소시켰다.
• 정성적 결과는 모델이 기존 모델 대비 더 잘 작은 병변을 탐지하고 가짜 양성을 효과적으로 억제함을 확인하였으며, 특히 강화 종양 평가를 위해 T1과 T1Gd를 비교할 때 두드러진 성능 향상을 보였다.
• Trans&CNN 특징 캘리브레이션(TCFC) 블록은 트랜스포머와 CNN 특징 간의 표현 갭을 효과적으로 줄여 특징 정렬 및 세분화 일관성을 향상시켰다.