[논문 리뷰] Conditional Adversarial Network for Semantic Segmentation of Brain Tumor

Mina Rezaei, Konstantin Harmuth외 5명|arXiv (Cornell University)|2017. 08. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 32

한 줄 요약

이 논문은 다중 모odal MRI 영상에서 뇌종양의 엔드 투 엔드 의미적 분할을 위한 조건부 생성 적대 신경망(cGAN)을 제안한다. U-Net 생성기와 마르코비안 판별기로 구성되어 정확도를 향상시킨다. 제안된 방법은 BraTS 2017 검증 세트에서 DICE 스코어 0.68, 민감도 0.99, 특이도 0.98를 달성하여 제한적이고 이질적인 의료 데이터에서도 뛰어난 성능을 보였다.

ABSTRACT

Automated medical image analysis has a significant value in diagnosis and treatment of lesions. Brain tumors segmentation has a special importance and difficulty due to the difference in appearances and shapes of the different tumor regions in magnetic resonance images. Additionally, the data sets are heterogeneous and usually limited in size in comparison with the computer vision problems. The recently proposed adversarial training has shown promising results in generative image modeling. In this paper, we propose a novel end-to-end trainable architecture for brain tumor semantic segmentation through conditional adversarial training. We exploit conditional Generative Adversarial Network (cGAN) and train a semantic segmentation Convolution Neural Network (CNN) along with an adversarial network that discriminates segmentation maps coming from the ground truth or from the segmentation network for BraTS 2017 segmentation task[15, 4, 2, 3]. We also propose an end-to-end trainable CNN for survival day prediction based on deep learning techniques for BraTS 2017 prediction task [15, 4, 2, 3]. The experimental results demonstrate the superior ability of the proposed approach for both tasks. The proposed model achieves on validation data a DICE score, Sensitivity and Specificity respectively 0.68, 0.99 and 0.98 for the whole tumor, regarding online judgment system.

연구 동기 및 목표

• 다양한 촬영 프로토콜을 가진 이질적이고 제한된 MRI 데이터셋에서 정확한 뇌종양 분할에 도전한다.
• 적대적 훈련을 통해 소규모 의료 영상 데이터셋에서의 분할 정확도 향상 및 과적합 감소를 도모한다.
• 다중 모달 MRI 및 임상 데이터로부터 환자의 생존 일수를 예측하기 위한 엔드 투 엔드 트레이너블 딥 러닝 모델을 개발한다.
• 의미적 분할에 조건부 GAN을 통합하여 종양 영역의 구조 일관성과 경계 정밀도를 향상시킨다.
• 뇌종양 분할 및 뇌신경종 환자에서의 생존 예측과 같은 임상 작업을 위한 자동화되고 확장 가능하며 일반화 가능한 솔루션을 제공한다.

제안 방법

• 다중 모달 MRI 입력을 사용하여 U-Net 기반 생성기가 뇌종양의 의미적 분할을 수행하는 조건부 GAN 프레임워크를 사용한다.
• 실제 분할 맵(정답)과 생성기로부터 생성된 분할 맵을 구분하기 위해 마르코비안 판별기를 훈련한다.
• 환자별 MRI 데이터에 대한 일반화 능력 향상과 훈련 안정성을 확보하기 위해 생성기에서 Virtual-BatchNorm을 사용한다.
• 제한된 훈련 데이터에서 과적합을 완화하기 위해 수평/수직 뒤집기 및 재스케일링을 통한 데이터 증강을 적용한다.
• 두 개의 스트림을 가진 병렬 CNN 아키텍처를 설계한다: 하나는 다중 모달 MRI 특징을, 다른 하나는 임상 데이터(나이, 생존 일수)를 처리하며, 모두 [0,1] 범위로 정규화된다.
• 목표 변수를 [0,1] 범위로 매핑하여 일관된 훈련을 위해 평균 제곱 오차 손실을 사용하여 생존 예측 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 조건부 GAN은 이질적인 MRI 데이터셋에서 뇌종양 의미적 분할의 정확도와 내구성을 향상시킬 수 있는가?
• RQ2 판별기와 함께 사용하는 적대적 훈련은 생성기가 종양 경계 예측 능력을 향상시키는 데 어떤 영향을 미치는가?
• RQ3 딥 러닝 모델이 다중 모달 MRI와 임상 데이터를 동시에 학습하여 환자의 생존 일수를 예측할 수 있는 정도는 어느 정도인가?
• RQ4 기본적인 CNN과 비교해 볼 때, 적대적 훈련 통합이 소규모 의료 영상 데이터셋에서 과적합을 줄이는 데 기여하는가?
• RQ5 제안된 cGAN 기반 분할 모델은 검증되지 않은 데이터로 일반화되어 BraTS 2017과 같은 벤치마크 도전 대회에서 경쟁적인 성능을 달성할 수 있는가?

주요 결과

• 제안된 cGAN 기반 분할 모델은 BraTS 2017 검증 데이터의 전체 종양 영역에서 DICE 스코어 0.68, 민감도 0.99, 특이도 0.98를 달성했다.
• 강화된 종양(ET) 영역에 대해 높은 민감도(0.99)를 보이며 대조 강화 핵심의 강력한 탐지 능력을 입증했다.
• 생존 일수 예측의 경우, 다중 모달 입력을 가진 병렬 CNN을 사용해 검증 데이터에서 73.1%의 정확도, 테스트 데이터에서 64.08%의 정확도를 기록했다.
• Virtual-BatchNorm의 사용은 분할 생성기에서 환자별 MRI 데이터에 대한 훈련 안정성과 일반화 능력을 향상시켰다.
• 훈련 중 입력 데이터를 셔플하지 않은 경우 성능이 가장 우수했으며, 이는 데이터의 시간적 또는 공간적 일관성이 성능 향상에 기여함을 시사한다.
• 편향 필드 보정 및 히스토그램 매칭 정규화는 모델 훈련 이전에 영상 품질과 일관성을 크게 향상시켰다.