[논문 리뷰] Deep Radiomics for Brain Tumor Detection and Classification from Multi-Sequence MRI

Subhashis Banerjee, Sushmita Mitra외 2명|arXiv (Cornell University)|2019. 03. 21.

Radiomics and Machine Learning in Medical Imaging참고 문헌 36인용 수 40

한 줄 요약

이 논문은 세 가지 새로운 ConvNet 모델(PatchNet, SliceNet, VolumeNet)을 처음부터 학습시키고 다중 시퀀스 MRI로 뇌종양(LGG vs HGG)을 감지하고 분류하는 방법을 제시하며, VGGNet/ResNet를 이용한 전이 학습을 보인다; VolumeNet은 LOPO에서 97.19%의 최고 정확도와 홀드아웃에서 95%를 달성한다.

ABSTRACT

Glioma constitutes 80% of malignant primary brain tumors and is usually classified as HGG and LGG. The LGG tumors are less aggressive, with slower growth rate as compared to HGG, and are responsive to therapy. Tumor biopsy being challenging for brain tumor patients, noninvasive imaging techniques like Magnetic Resonance Imaging (MRI) have been extensively employed in diagnosing brain tumors. Therefore automated systems for the detection and prediction of the grade of tumors based on MRI data becomes necessary for assisting doctors in the framework of augmented intelligence. In this paper, we thoroughly investigate the power of Deep ConvNets for classification of brain tumors using multi-sequence MR images. We propose novel ConvNet models, which are trained from scratch, on MRI patches, slices, and multi-planar volumetric slices. The suitability of transfer learning for the task is next studied by applying two existing ConvNets models (VGGNet and ResNet) trained on ImageNet dataset, through fine-tuning of the last few layers. LOPO testing, and testing on the holdout dataset are used to evaluate the performance of the ConvNets. Results demonstrate that the proposed ConvNets achieve better accuracy in all cases where the model is trained on the multi-planar volumetric dataset. Unlike conventional models, it obtains a testing accuracy of 95% for the low/high grade glioma classification problem. A score of 97% is generated for classification of LGG with/without 1p/19q codeletion, without any additional effort towards extraction and selection of features. We study the properties of self-learned kernels/ filters in different layers, through visualization of the intermediate layer outputs. We also compare the results with that of state-of-the-art methods, demonstrating a maximum improvement of 7% on the grading performance of ConvNets and 9% on the prediction of 1p/19q codeletion status.

연구 동기 및 목표

• 다중 시퀀스 MRI에서 수동 ROI/VOI 구획화 없이도 비침습적 뇌종양 탐지 및 등급화의 가능성을 입증한다.
• PatchNet, SliceNet, VolumeNet의 세 CNN 아키텍처를 처음부터 학습시키고 패치-기반, 슬라이스-기반, 볼륨 기반 입력을 처리하도록 개발한다.
• MRI 데이터에 대해 VGGNet 및 ResNet의 전이 학습을 미세조정해 성능 이점을 평가한다.

제안 방법

• TCGA-GBM/TCGA-LGG 및 BraTS 2017 데이터셋에서 파생된 패치 기반, 슬라이스 기반, 다평면 볼륨 입력의 세 가지 데이터 표현을 도입한다.
• 세 가지 CNN 아키텍처—PatchNet, SliceNet, VolumeNet—를 처음부터 학습시키고 ImageNet에서 미세조정된 VGGNet과 ResNet과 비교한다.
• 학습률 0.001과 모멘텀 0.9의 SGD를 사용하고 데이터 증강(회전, 이동, 플립)을 수행하며 과적합 완화를 위해 드롭아웃(0.5) 및 배치 정규화를 적용한다.
• LOPO(leave-one-patient-out) 및 홀드아웃 테스트로 평가하며 LOPO에서 최종 클래스는 다수결 투표로 결정한다.
• research_questions
• (1) CNN이 다중 시퀀스 MRI에서 수동 ROI/VOI 구획화 없이도 교종( LGG 대 HGG)을 탐지하고 등급화할 수 있는가? (2) 다혈성/다평면 정보를 도입하면 패치-또는 슬라이스 기반 입력에 비해 분류 정확도가 향상되는가? (3) 이 작업에서 MRI 데이터에 대한 이미지넷 기반 전이 학습이 처음부터 학습하는 것과 비교해 어떤 차이가 있는가? (4) CNN이 MRI로부터 LGG의 1p/19q 코딜리션 상태를 예측할 수 있는가? (5) CNN이 층별로 학습된 특징을 시각화하여 종양 등급화 기준과 일치하는지 확인하는가?

실험 결과

주요 결과

네트워크	분류된 샘플	오분류	애매함	정확도
PatchNet	242	39	4	84.91%
SliceNet	257	26	2	90.18%
VolumeNet	277	8	0	97.19%
VGGNet	239	40	6	83.86%
ResNet	242	42	1	84.91%

• :[
• VolumeNet은 HGG/LGG 분류에서 LOPO 최고 정확도 97.19%를 달성하며 모호한 케이스가 하나도 없다.
• VolumeNet은 홀드아웃 데이터에서 LGG/HGG 분류에 대해 95.00%의 정확도를 달성한다.
• SliceNet 및 PatchNet은 각각 LOPO 정확도 90.18%와 84.91%를 달성하는 반면, VGGNet 및 ResNet은 홀드아웃 데이터에서 VolumeNet에 비해 성능이 저조하다.
• LGG의 1p/19q 코딜리션 여부에 대해 VolumeNet은 홀드아웃 데이터에서 97.00%의 정확도를 달성하며 참조 Mayo Clinic 기반 방법(Akkus 등 97% 대 88% 보고)보다 우세하다.
• 미세조정된 이미지넷 모델(VGGNet, ResNet)은 홀드아웃 데이터에서 처음 학습된 모델의 성능과 일치하는 정도가 제한적이다.
• 정성적 시각화는 학습된 필터가 조직 구조, 종양 ROI, 등급화와 관련된 이질성 특징을 점진적으로 포착하는 것을 보여준다.