[논문 리뷰] Ensembles of Multiple Models and Architectures for Robust Brain Tumour Segmentation

Konstantinos Kamnitsas, Wenjia Bai외 9명|arXiv (Cornell University)|2017. 11. 04.

Brain Tumor Detection and Classification참고 문헌 20인용 수 59

한 줄 요약

요지: 이 논문은 ENSEMBLE EMMA를 통해 다양한 CNN 아키텍처의 앙상블로 강인한 뇌종양 분할을 제시하고, BRATS 2017에서 모델 구성 편향을 주변화하여 최상의 성능을 달성한다.

ABSTRACT

Deep learning approaches such as convolutional neural nets have consistently outperformed previous methods on challenging tasks such as dense, semantic segmentation. However, the various proposed networks perform differently, with behaviour largely influenced by architectural choices and training settings. This paper explores Ensembles of Multiple Models and Architectures (EMMA) for robust performance through aggregation of predictions from a wide range of methods. The approach reduces the influence of the meta-parameters of individual models and the risk of overfitting the configuration to a particular database. EMMA can be seen as an unbiased, generic deep learning model which is shown to yield excellent performance, winning the first position in the BRATS 2017 competition among 50+ participating teams.

연구 동기 및 목표

• 다양한 CNN 아키텍처와 메타 파라미터 사이에서 강건한 뇌종양 분할을 촉진한다.
• 모델 구성에 따른 편향을 줄이기 위해 구성 마지널링 프레임워크를 제안한다.
• 다양한 모델들의 예측을 평균 내는 앙상블(EMMA)을 구축한다.
• BRATS 2017 데이터 전반에 걸쳐 강건성과 일반화 가능성을 보여준다.

제안 방법

• 다양한 CNN들(DeepMedic 변형, 세 가지 3D FCN, 그리고 두 3D U-Nets)의 앙상블을 구성한다.
• 각 모델을 서로 다른 전처리, 손실함수, 그리고 메타 파라미터로 학습시켜 높은 구조/구성 변화가 유도되도록 한다.
• 모델 간 voxel-별 클래스 확신도 맵을 평균화하여 앙상블하고 가장 높은 평균 확신도를 가진 클래스로 각 voxel을 할당한다.
• 여러 강도 정규화로 데이터 전처리하고 예측을 평균화하여 정규화 효과를 완화한다.
• EMMA를 메타 파라미터 m에 대해 marginalized로 정의하여 실제 후방 P(y|x)에 근사한다.
• BRATS 2017 데이터에서 평가하고 최상위 팀과 비교한다.

실험 결과

연구 질문

• RQ1 다양한 아키텍처의 예측을 집계하는 것이 어떤 단일 모델의 메타 파라미터 의존도를 줄일 수 있는가?
• RQ2 EMMA가 BRATS의 학습/검증/테스트 구분에서 강건성과 일반화를 개선하는가?
• RQ3 다른 전처리/정규화 파이프라인에 노출될 때 EMMA의 성능은 어떻게 되는가?

주요 결과

DSC (Enh.)	DSC (Whole)	DSC (Core)	Sensitivity (Enh.)	Sensitivity (Whole)	Sensitivity (Core)	Hausdorff_95 (Enh.)	Hausdorff_95 (Whole)	Hausdorff_95 (Core)	#submits
73.8	90.1	79.7	78.3	89.5	76.2	4.50	4.23	6.56	2
78.6	90.5	83.8	77.1	91.5	82.2	3.28	3.89	6.48	21
73.2	89.6	79.7	79.0	89.6	78.1	4.55	6.97	9.48	2
72.9	88.6	78.5	-	-	-	36.0	5.01	23.1	1

• EMMA는 BRATS 2017 테스트에서 50개 이상의 팀 중 전체 성능에서 최고를 달성했다(Dice 점수와 Hausdorff 지표).
• 다양한 아키텍처에 걸친 앙상블은 개별 모델 편향과 메타 파라미터에 대한 민감도를 감소시킨다.
• EMMA는 검증 및 테스트 세트에서 유사한 성능을 보여 데이터 세트 간 차이에 대한 강건성을 시사한다.
• EMMA를 통해 다중 강도 정규화를 포함시키면 정규화 관련 성능 변동을 완화한다.
• 이 접근 방식은 P(y|x)의 보다 객관적이고 구성에 불변한 근사치를 제공한다.