[논문 리뷰] ME-Net: Multi-Encoder Net Framework for Brain Tumor Segmentation

Wenbo Zhang, Guang Yang외 5명|arXiv (Cornell University)|2022. 03. 21.

Advanced Neural Network Applications인용 수 5

한 줄 요약

ME-Net는 뇌 종양 세분화를 위해 네 가지 MRI 모odal리티(T1, T1c, T2, FLAIR)를 사용하는 3D 다중 인코더 U-Net 프레임워크를 제안한다. 별도의 인코더에서 유도된 특징을 융합하여 세분화 정확도를 향상시킨다. 비현저한 병변의 균형을 맞추기 위해 영역별 가중치를 적용한 분류 딱딱손실(Categorical Dice loss)을 도입하여 BraTS 2020 검증 데이터에서 전체 종양, 종양 핵심부, 강화된 종양에 대해 각각 0.702, 0.883, 0.739의 딱딱스코어를 달성한다.

ABSTRACT

Glioma is the most common and aggressive brain tumor. Magnetic resonance imaging (MRI) plays a vital role to evaluate tumors for the arrangement of tumor surgery and the treatment of subsequent procedures. However, the manual segmentation of the MRI image is strenuous, which limits its clinical application. With the development of deep learning, a large number of automatic segmentation methods have been developed, but most of them stay in 2D images, which leads to subpar performance. Moreover, the serious voxel imbalance between the brain tumor and the background as well as the different sizes and locations of the brain tumor makes the segmentation of 3D images a challenging problem. Aiming at segmenting 3D MRI, we propose a model for brain tumor segmentation with multiple encoders. The structure contains four encoders and one decoder. The four encoders correspond to the four modalities of the MRI image, perform one-to-one feature extraction, and then merge the feature maps of the four modalities into the decoder. This method reduces the difficulty of feature extraction and greatly improves model performance. We also introduced a new loss function named "Categorical Dice", and set different weights for different segmented regions at the same time, which solved the problem of voxel imbalance. We evaluated our approach using the online BraTS 2020 Challenge verification. Our proposed method can achieve promising results in the validation set compared to the state-of-the-art approaches with Dice scores of 0.70249, 0.88267, and 0.73864 for the intact tumor, tumor core, and enhanced tumor, respectively.

연구 동기 및 목표

• 고해상도 병변의 균형이 깨진 병변과 변동성이 큰 종양 크기/위치로 인한 MRI 내 뇌 종양 3D 세분화 과제를 해결하기 위해.
• 다중 모달리티 MRI에서 3D 공간적 맥락을 활용하여 2D 기반 딥 러닝 방법보다 성능을 향상시키기 위해.
• 새로운 가중치 부여 손실 함수를 통해 종양 세분화에서 클래스 균형 문제의 영향을 완화하기 위해.
• 각 MRI 모달리티를 별도로 처리한 후 특징 융합을 수행하는 다중 인코더 아키텍처를 개발하기 위해.

제안 방법

• 모델은 네 개의 별도 인코더를 사용하며, 각각 하나의 MRI 모달리티(T1, T1c, T2, FLAIR)를 처리하여 모달리티 특화의 특징 학습을 가능하게 한다.
• 네 개의 인코더에서 유도된 특징은 연결되어 공통 디코더에 입력되어 세분화 예측을 수행한다.
• 새로운 손실 함수인 분류 딱딱손실은 전체 종양, 종양 핵심부, 강화된 종양 등의 서로 다른 종양 영역에 대해 다른 가중치를 할당하여 클래스 균형 문제를 해결한다.
• 표준 데이터 증강 기법을 사용하여 BraTS 2020 검증 데이터셋을 기반으로 엔드 투 엔드로 네트워크를 훈련시킨다.
• 3D 볼륨 전반에 걸쳐 공간적 맥락을 유지하도록 설계되어 복잡한 종양 형태에서의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 인코더 모델 대비 다중 인코더 3D U-Net 프레임워크가 뇌 종양 세분화 성능을 향상시킬 수 있는가?
• RQ2 다중 대비 MRI 데이터에서 종양 세분화를 위해 모달리티 특화의 특징 추출 전략이 얼마나 효과적인가?
• RQ3 영역 가중치가 부여된 분류 딱딱손실이 종양 세분화에서 병변 균형 문제의 영향을 어느 정도 감소시키는가?
• RQ4 제안된 방법이 BraTS 2020 벤치마크에서 최신 기술 수준의 접근법을 초월하는가?

주요 결과

• ME-Net는 전체 종양에 대해 0.70249의 딱딱스코어를 기록하여 가장 큰 종양 영역에서 강력한 성능을 보였다.
• 종양 핵심부에 대해 0.88267의 딱딱스코어를 확보하여 가장 임상적으로 중요한 영역에서 높은 정밀도를 보였다.
• 강화된 종양 영역에 대해 0.73864의 딱딱스코어를 기록하여 대조 강화 영역을 탐지하는 데 있어 뛰어난 강건성을 보였다.
• 분류 딱딱손실은 훈련 중 배경 병변의 지배적 영향을 감소시켜 세분화 성능을 크게 향상시켰다.
• 다중 인코더 설계는 각 MRI 모달리티에 대한 더 효과적인 특징 학습을 가능하게 하여 단일 인코더 기반 모델을 능가했다.
• ME-Net는 BraTS 2020 검증 세트에서 상위 성능 모델 중 하나로 랭크되어 최신 기술 수준의 성능을 확인했다.