[논문 리뷰] Segmentation of glioblastomas in early post-operative multi-modal MRI with deep neural networks

Ragnhild Holden Helland, Alexandros Ferles외 31명|arXiv (Cornell University)|2023. 04. 18.

Radiomics and Machine Learning in Medical ImagingMedicine인용 수 3

한 줄 요약

이 연구는 초기 투여 후 다중 모odal MRI에서 잔류 간질성 뇌신생물의 자동 분할을 위한 딥 네ural 네트워크를 제안하며, Dice 점수는 최대 61%이며 종양 존재 분류의 균형 임계값은 약 80%를 기록한다. 모델들은 단지 투여 후 T1w-CE, T1w 및 FLAIR 영상 시퀀스만을 사용하여 12개 병원에서 일반화되며 전문가 수준의 인간 평가자와 동등한 성능을 보이며 수동 종양 분할의 재현 가능한 대안을 제공한다.

ABSTRACT

Extent of resection after surgery is one of the main prognostic factors for patients diagnosed with glioblastoma. To achieve this, accurate segmentation and classification of residual tumor from post-operative MR images is essential. The current standard method for estimating it is subject to high inter- and intra-rater variability, and an automated method for segmentation of residual tumor in early post-operative MRI could lead to a more accurate estimation of extent of resection. In this study, two state-of-the-art neural network architectures for pre-operative segmentation were trained for the task. The models were extensively validated on a multicenter dataset with nearly 1000 patients, from 12 hospitals in Europe and the United States. The best performance achieved was a 61\% Dice score, and the best classification performance was about 80\% balanced accuracy, with a demonstrated ability to generalize across hospitals. In addition, the segmentation performance of the best models was on par with human expert raters. The predicted segmentations can be used to accurately classify the patients into those with residual tumor, and those with gross total resection.

연구 동기 및 목표

• 초기 수술 후 MRI에서 잔류 간질성 뇌신생물의 자동 분할 방법을 개발하여 예후 정확도를 향상시키는 것.
• 인간 전문가가 수행하는 수동 종양 분할에 내재된 상호 및 내부 평가자 간 변동성을 줄이는 것.
• 다중 센터 데이터셋을 사용하여 유럽 및 미국 병원 다수에서 딥 러닝 모델의 일반화 성능을 검증하는 것.
• 고정성 분할 성능을 위해 수술 전 영상이 필요한지, 아니면 수술 후 영상만으로도 충분한지 평가하는 것.
• 간질성 뇌신생물 수술 후속 조치에서 자동 종양 분할을 위한 임상 적용 가능한 오픈소스 솔루션을 구축하는 것.

제안 방법

• 두 가지 최신 딥 네ural 네트워크 아키텍처가 초기 수술 후 다중 모달 MRI 시퀀스(T1w-CE, T1w, FLAIR)를 사용하여 간질성 뇌신생물 분할을 위해 훈련되었다.
• 모델들은 12개 유럽 및 미국 병원에서 온 956명의 환자로 구성된 다중 센터 데이터셋에서 검증되었으며, 병원 기반으로 분할된 훈련/검증/테스트 세트를 사용했다.
• 일부 병원은 일반화 성능 평가를 위해 보류된 테스트 세트로 사용되었으며, 상호 평가자 간 변동성은 여덟 명의 인간 애너테이터가 공통으로 확정한 기준값과 비교하여 평가되었다.
• 분할 성능은 Dice 점수로 측정되었으며, 종양 존재 분류에는 균형 임계값이 사용되었다.
• 수술 전 MRI 입력이 있는지 여부에 따라 모델을 평가하여 수술 전 데이터의 기여도를 분석하였다.
• 가장 우수한 성능을 보인 모델들은 오픈 액세스를 위해 Raidionics 환경에 공개되었으며, 향후 임상 검증을 위해 활용될 수 있도록 하였다.

Figure 1: Dataset examples for four patients, separated by white dash-lines. For each patient, an axial view from the EPMR T1w-CE, EPMR T1w, EPMR FLAIR, and pre-operative T1w-CE are displayed. Outlines of the manually annotated tumors are shown in green.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크는 초기 수술 후 간질성 뇌신생물 MRI에서 인간 전문가 평가자 수준의 분할 성능를 달성할 수 있는가?
• RQ2 이러한 모델들은 다양한 임상 현장과 스캐너 프로토콜 간에 얼마나 잘 일반화되는가?
• RQ3 고정성 분할 성능를 위해 수술 전 영상이 필수적인가, 아니면 수술 후 시퀀스만으로도 충분한가?
• RQ4 모델의 성능가 인간 전문가 간 상호 평가자 간 변동성과 얼마나 유사한가?
• RQ5 자동 분할이 거대 완전 제거 또는 잔류 종양을 신뢰성 있게 환자 분류할 수 있는가?

주요 결과

• 최고의 모델은 잔류 종양 분할에서 61%의 Dice 점수를 기록하여 평균 인간 전문가 평가자와 동일한 성능를 보였다.
• 모델은 잔류 종양 또는 거대 완전 제거로 분류된 환자에 대해 약 80%의 균형 임계값을 기록하였다.
• 수술 전 영상이 필요 없이 수술 후 MRI만으로도 훈련 및 테스트를 수행했을 때도 성능가 뛰어나게 유지되었다.
• 모델은 초보자 애너테이터보다 뛰어난 성능를 보였으며, 공통 기준값과 비교했을 때 개별 전문가 애너테이션과 동등하거나 이를 초월하였다.
• 인간 전문가 간 상호 평가자 간 변동성이 높았으며, 모델의 성능는 이 범위 내에 있었고, 이는 모델이 신뢰할 수 있는 대안으로 사용될 수 있음을 뒷받침한다.
• 모델들은 12개 병원에서 성공적으로 검증되었으며, 다양한 임상 환경과 영상 프로토콜 간 강력한 일반화 성능를 입증하였다.

Figure 2: Overall residual tumor segmentation pipeline from EPMR scans and classification between gross total resection or residual tumor. The registration is performed using the SyN approach from ANTs, multiple input configurations using different combinations of MR sequences were considered (noted