[논문 리뷰] A fully 3D multi-path convolutional neural network with feature fusion and feature weighting for automatic lesion identification in brain MRI images

Yunzhe Xue, Meiyan Xie외 6명|arXiv (Cornell University)|2019. 07. 17.

Advanced Neural Network Applications참고 문헌 27인용 수 5

한 줄 요약

이 논문은 뇌 MRI에서 자동 병변 검출을 향상시키기 위해 모odal리티별 인코더, 가중치가 부여된 특징 융합, 적응형 특징 가중치를 갖춘 완전 3D 다중경로 컨volution 신경망을 제안한다. KES+MCW에서 65.1%의 SOTA 딱지 스코어를 기록했으며, ATLAS에서는 60.5%를 기록하여, 특히 작은, 검출이 어려운 병변에서 3D U-Net, DeepMedic, AnatomyNet을 크게 능가한다.

ABSTRACT

We propose a fully 3D multi-path convolutional network to predict stroke lesions from 3D brain MRI images. Our multi-path model has independent encoders for different modalities containing residual convolutional blocks, weighted multi-path feature fusion from different modalities, and weighted fusion modules to combine encoder and decoder features. Compared to existing 3D CNNs like DeepMedic, 3D U-Net, and AnatomyNet, our networks achieves the highest statistically significant cross-validation accuracy of 60.5% on the large ATLAS benchmark of 220 patients. We also test our model on multi-modal images from the Kessler Foundation and Medical College Wisconsin and achieve a statistically significant cross-validation accuracy of 65%, significantly outperforming the multi-modal 3D U-Net and DeepMedic. Overall our model offers a principled, extensible multi-path approach that outperforms multi-channel alternatives and achieves high Dice accuracies on existing benchmarks.

연구 동기 및 목표

• 3D 뇌 MRI 스캔에서 1000mm³ 이하의 작은, 식별이 어려운 뇌졸중 병변을 탐지하는 데 도전하는 데 초점을 맞춘다.
• 모달리티 간의 차이를 유지하면서 다중 모odal MRI 데이터를 활용하기 위해 채널으로 모달리티를 스택하는 대신 전용 다중경로 아키텍처를 사용하여 병변 세그멘테이션 정확도를 향상시킨다.
• 업샘플링 및 융합된 특징의 기여도를 균형 잡는 새로운 특징 가중치 메커니즘을 도입하여 작은 병변에서의 성능을 향상시킨다.
• 기존 3D CNN보다 우수한 성능을 보이는 원칙적이고 확장 가능한 3D 딥 러닝 프레임워크를 개발한다.

제안 방법

• 각 MRI 모달리티(T1, T2, FLAIR 등)에 대해 별도의 3D 컨볼루션 인코더를 사용하여 모달리티 특수 표현을 유지한다.
• 특징 융합은 압축-선택(SE) 블록을 사용해 중요도에 따라 채널을 동적으로 가중하는 커스터마이제이션 모듈을 통해 수행된다.
• 확대된 가중치(AW) 메커니즘은 융합 모듈의 대규모 출력을 균형 잡기 위해 업샘플러 특징의 기여도를 증가시켜 작은 병변에서의 훈련을 향상시킨다.
• ReLU-Only 전활성화 변형은 잔차 블록 내 정규화와 비선형성을 순서를 재정렬하여 특징 크기의 균형을 개선하고 기울기 불균형을 줄인다.
• 3D 컨볼루션을 전반적으로 사용하는 U-Net 유사 아키텍처를 채택하며, 인코더와 디코더 블록 간에 스킵 연결을 구현한다.
• 입력 이미지는 스캔 단위로 정규화(z-스코어)되며, 데이터 증강으로 플립을 사용하여 효과적인 모달리티 다양성을 증가시킨다.

실험 결과

연구 질문

• RQ1 각 MRI 모달리티에 대해 별도의 인코더를 갖춘 다중경로 3D CNN이 다중채널 접근 방식보다 병변 세그멘테이션 정확도에서 뛰어나게 성능을 내는가?
• RQ2 가중치가 부여된 특징 융합 및 적응형 특징 가중치 메커니즘이 3D 뇌 MRI에서 작은 병변, 저체적 병변의 탐지에 기여하는가?
• RQ3 제안된 모델은 공개 및 임상 MRI 데이터셋에서 3D U-Net, DeepMedic, AnatomyNet과 같은 최신 3D CNN보다 우수한 성능을 보이는가?
• RQ4 특히 세그멘테이션에 어려움을 겪는 병변에서 제안된 가중치 메커니즘의 성능 향상은 통계적으로 유의미한가?
• RQ5 FLOPS와 파라미터 수로 측정했을 때, 아키텍처의 복잡성에도 불구하고 높은 효율성을 유지하는가?

주요 결과

• KES+MCW 데이터셋에서 SE+AW 변형은 65.1%의 딱지 스코어를 기록했으며, p값 0.0016로 3D U-Net(60.8%)를 유의미하게 뛰어넘었다.
• ATLAS 벤치마크에서 모델은 60.5%의 딱지 스코어를 기록했으며, p값 10^-6로 AnatomyNet(56.1%)과 3D U-Net를 뛰어넘어 강력한 통계적 유의성을 보였다.
• 가장 작은 25%의 병변(부피 <1000mm³)에서 ATLAS에서 모델은 41.4%의 딱지 스코어를 기록했으며, 다음으로 우수한 방법(AnatomyNet, 34.1%)보다 7% 향상되었고, p=0.004였다.
• ReLU-Only 변형은 특징 크기 균형을 향상시켜 융합 출력 대 업샘플러 출력 비율을 30–100×에서 10–30×로 감소시켜 잔차 블록 내 기울기 문제를 완화시켰다.
• 패치 기반 모델이 아닌 모델 중에서 가장 높은 FLOPS 효율성을 기록했으며, 1.030억 FLOPS로, 더 높은 정확도에도 불구하고 AnatomyNet(107.7억)보다 훨씬 낮았다.
• 플립된 이미지를 두 번째 모달리티로 사용함으로써 ATLAS에서 딱지 스코어가 기본 모델(56.3%)에서 58.4%로 상승했으며, 다중경로 학습에서의 데이터 증강의 유용성을 입증했다.