[논문 리뷰] 3D Dilated Multi-Fiber Network for Real-time Brain Tumor Segmentation in MRI

Chen Chen, Xiaopeng Liu외 3명|arXiv (Cornell University)|2019. 04. 06.

Advanced Neural Network Applications참고 문헌 17인용 수 8

한 줄 요약

이 논문은 MRI에서 실시간 뇌종양 세분화를 위한 경량 3D 확장 다중 섬유 네트워크(DMFNet)를 제안한다. 다중 섬유 유닛과 군집 3D 컨벌루션, 학습 가능한 가중치가 부여된 3D 확장 컨벌루션을 활용하여 다중 척도 특징을 효율적으로 캡처한다. 이 모델은 BraTS-2018에서 388만 파라미터와 27G FLOPs로 80.12%의 Dice 점수(강화 종양), 90.62%(전체 종양), 84.54%(종양 핵심)를 기록하여 최신 기술 수준을 달성하였으며, GPU에서 0.019초 내로 추론이 가능하다.

ABSTRACT

Brain tumor segmentation plays a pivotal role in medical image processing. In this work, we aim to segment brain MRI volumes. 3D convolution neural networks (CNN) such as 3D U-Net and V-Net employing 3D convolutions to capture the correlation between adjacent slices have achieved impressive segmentation results. However, these 3D CNN architectures come with high computational overheads due to multiple layers of 3D convolutions, which may make these models prohibitive for practical large-scale applications. To this end, we propose a highly efficient 3D CNN to achieve real-time dense volumetric segmentation. The network leverages the 3D multi-fiber unit which consists of an ensemble of lightweight 3D convolutional networks to significantly reduce the computational cost. Moreover, 3D dilated convolutions are used to build multi-scale feature representations. Extensive experimental results on the BraTS-2018 challenge dataset show that the proposed architecture greatly reduces computation cost while maintaining high accuracy for brain tumor segmentation. The source code can be found at https://github.com/China-LiuXiaopeng/BraTS-DMFNet

연구 동기 및 목표

• 3D 컨벌루션 네트워크의 높은 계산 비용이 체적 뇌종양 세분화에 영향을 미치는 문제를 해결하기 위해, 특히 대규모 임상 적용에 적합한 접근을 제안한다.
• 3D 컨벌루션 네트워크의 파라미터와 FLOPs를 줄여 모델 효율성을 향상시키되, 세분화 정확도를 희생시키지 않는다.
• 군집 컨벌루션과 다중 척도 수용영역을 조합한 새로운 아키텍처를 통해 3D MRI 세분화의 실시간 추론을 가능하게 한다.
• 학습 가능한 가중치가 부여된 3D 확장 컨벌루션을 통해 다양한 척도에서 관련된 맥락을 다이나믹하게 선택함으로써 특징 표현을 향상시킨다.

제안 방법

• 제안된 DMFNet은 채널을 그룹으로 나누어 군집 컨벌루션을 통해 파라미터 수와 FLOPs를 줄이면서도 그룹 간 정보 흐름을 유지하는 3D 다중 섬유 유닛을 사용한다.
• 각 다중 섬유 유닛은 서로 다른 확장 비율(예: 1, 2, 3)을 가진 3D 확장 컨벌루션을 통합하여 3D MRI 볼륨에서 다중 척도 맥락 특징을 캡처한다.
• 확장 컨벌루션 브랜치의 출력에 학습 가능한 적응형 가중치 메커니즘을 적용하여, 학습 중에 유용한 수용영역을 다이나믹하게 강조할 수 있도록 한다.
• U-Net과 유사한 인코더-디코더 아키텍처에 스킵 연결을 사용하여 고밀도 체적 세분화에서 공간적 세부 정보를 유지한다.
• 데이터 증강을 통해 강건성을 햖고, 표준 교차 엔트로피 손실과 Dice 손실을 사용하여 BraTS-2018 데이터셋에서 엔드 투 엔드로 모델을 훈련시켰다.

실험 결과

연구 질문

• RQ1 3D 컨벌루션 네트워크 아키텍처가 고성능을 유지하면서도 MRI에서 뇌종양 세분화에 대해 실시간 추론을 수행할 수 있는가?
• RQ2 다중 섬유 유닛과 3D 확장 컨벌루션의 조합이 성능 저하 없이 계산 비용을 줄이는 데 얼마나 효과적인가?
• RQ3 등가 가중치 대비 확장 컨벌루션 브랜치에 대해 학습 가능한 가중치 전략이 세분화 정확도를 향상시키는가?
• RQ4 최신 기술 수준의 3D U-Net 및 NVDLMED와 비교했을 때 제안된 DMFNet은 효율성과 정확도 측면에서 어떻게 성과를 내는가?

주요 결과

• DMFNet은 BraTS-2018 검증 세트에서 강화 종양(ET)에 대해 80.12%, 전체 종양(WT)에 대해 90.62%, 종양 핵심(TC)에 대해 84.54%의 Dice 점수를 기록하였다.
• 최신 기술 수준의 NVDLMED 모델(40.06M 파라미터, 1495.53G FLOPs)에 비해 FLOPs를 약 50배, 파라미터를 10배 감소시켰다.
• 단일 NVIDIA 1080Ti GPU에서 추론 시간은 0.019초이며, CPU에서는 20.6초로, 실시간 임상 적용이 가능하다.
• 제거 실험을 통해 확장 브랜치에 대한 학습 가능한 가중치 전략이 등가 가중치 대비 ET에서 1.15% 향상되고 WT에서 0.09% 향상된 것을 확인하였다.
• 깊이 있는 레이어에서 네트워크는 더 큰 수용영역(확장 비율 3)에 더 높은 주의를 기울이는 것으로 나타나, 척도 인식 특징 학습이 효과적으로 이루어지고 있음을 시사한다.