[논문 리뷰] Multi Modal Convolutional Neural Networks for Brain Tumor Segmentation

Mehmet Aygün, Yusuf H. Şahin외 1명|arXiv (Cornell University)|2018. 09. 17.

Brain Tumor Detection and Classification참고 문헌 12인용 수 26

한 줄 요약

이 논문은 뇌 종양 세그멘테이션을 위한 다중 모odal 3D 합성곱 신경망을 제안하며, 각 MRI 모odal리티(T1, T1ce, T2, FLAIR)에 대해 별도의 특징 표현을 학습한 후, 다양한 단계에서 융합한다. 영상 인식에서 유래한 융합 전략(초기, 중간, 후기 융합)을 적용하여, 기준 모델 대비 5% 향상된 DICE 스코어(86.97%)를 달성하였고, 오차율은 30% 감소시켰다.

ABSTRACT

In this work, we propose a multi-modal Convolutional Neural Network (CNN) approach for brain tumor segmentation. We investigate how to combine different modalities efficiently in the CNN framework.We adapt various fusion methods, which are previously employed on video recognition problem, to the brain tumor segmentation problem,and we investigate their efficiency in terms of memory and performance.Our experiments, which are performed on BRATS dataset, lead us to the conclusion that learning separate representations for each modality and combining them for brain tumor segmentation could increase the performance of CNN systems.

연구 동기 및 목표

• 딥 러닝 프레임워크 내에서 뇌 종양 세그멘테이션 정확도를 햖을 위해 다중 모달 MRI 데이터(T1, T1ce, T2, FLAIR)를 효과적으로 통합하는 것.
• 초기, 중간, 후기 융합과 같은 다양한 융합 전략이 다중 모달 CNN의 성능과 메모리 효율성에 미치는 영향을 조사하는 것.
• 다양한 융합 함수(합산, 최대값, 합성곱)가 계산 비용을 관리하면서도 세그멘테이션 정확도를 향상시키는 데 얼마나 효과적인지 평가하는 것.
• 융합 이전에 모달리티별로 특징을 학습하는 것이 단순히 모달리티를 연결하는 것보다 우수한 성능을 내는지 입증하는 것.
• 다중 모달 데이터를 활용한 3D 의료 영상 세그멘테이션을 위한 메모리 효율적이면서도 높은 성능을 내는 아키텍처를 제공하는 것.

제안 방법

• 각 MRI 모달리티에 대해 별도의 3D CNN 네트워크를 사용하여 모달리티별 특징 표현을 학습한다.
• 융합은 네트워크의 세 가지 다른 지점에서 수행된다: 초기(첫 번째 합성곱 레이어 후), 중간(두 번째 레이어 후), 후기(네 번째 합성곱 레이어 후).
• 세 가지 융합 함수를 평가한다: 요소별 합산, 요소별 최대값, 3D 필터를 사용한 학습 가능한 합성곱 융합.
• 기준 모델은 단일 스케일 25×25×25 패치와 이전 연구에서 유도된 3D CNN 아키텍처를 사용하며, 후처리 없이 구현된다.
• 엔드 투 엔드 훈련은 Adam 옵timizer, 교차 엔트로피 손실, L1/L2 정규화, 드롭아웃(합성곱 레이어 2%, 완전 연결 레이어 50%)을 사용하여 수행된다.
• 아키텍처는 텐서플로우로 구현되었으며, 50 에포크 동안 훈련하고 최고의 검증 정확도를 선택한다.

실험 결과

연구 질문

• RQ1 각 MRI 모달리티에 대해 별도의 표현을 학습하는 것이 초기 연결 방식보다 세그멘테이션 성능을 향상시키는가?
• RQ2 정확도와 메모리 효율성의 균형을 고려할 때, 어느 융합 지점(초기, 중간, 후기)이 가장 우수한 성능을 낼 수 있는가?
• RQ3 어느 융합 함수(합산, 최대값, 합성곱)가 다양한 융합 지점에서 가장 높은 세그멘테이션 정확도를 제공하는가?
• RQ4 논문에서 주장한 바와 같이, 다중 모달 융합이 뇌 종양 세그멘테이션의 오차율을 30% 감소시킬 수 있는가?
• RQ5 특히 합성곱 융합을 사용할 경우, 후기 융합의 메모리 프로파일은 초기 및 중간 융합과 비교해 어떻게 되는가?

주요 결과

• 합성곱 융합을 사용한 후기 융합이 가장 높은 DICE 스코어 86.97%를 기록하였으며, 기준 모델(81.25%) 대비 5% 향상되었다.
• 최고 성능을 낸 구성은 기준 모델 대비 DICE 겹침 오차율을 30% 감소시켜 뚜렷한 성능 향상을 입증했다.
• 모든 융합 함수에서 후기 융합이 초기 및 중간 융합을 항상 앞섰으며, 이는 고수준 표현이 모달리티별 특징 학습에서 더 큰 이점을 얻음을 시사한다.
• 합성곱 융합 함수는 추가적인 학습 가능한 필터로 인해 특히 후기 융합에서 가장 많은 메모리를 소비했지만, 가장 높은 정확도를 제공했다.
• 후기 융합에서 최대값 융합 함수의 정확도 대 파rameter 비율이 가장 높았으며(0.2561), 합산 또는 합성곱 융합보다 더 높은 메모리 효율성을 보였다.
• 초기 융합에서 합산 및 중간 융합에서 합성곱을 제외한 모든 융합 전략이 기준 모델을 초월했으며, 이는 모달리티별 표현 학습의 이점이 확인됨을 의미한다.