[논문 리뷰] The Brain Tumor Segmentation (BraTS-METS) Challenge 2023: Brain Metastasis Segmentation on Pre-treatment MRI

Ahmed W. Moawad, Anastasia Janas외 230명|arXiv (Cornell University)|2023. 06. 01.

Brain Tumor Detection and Classification인용 수 25

한 줄 요약

다기관 BraTS-METS 2023 챌린지는 pre-treatment MRI에서 뇌 전이종양 분절을 across eight datasets 평가하고, 402 annotated studies를 공개하며, 병변별 성능을 FP/FN 페널티를 적용해 보고한다.

ABSTRACT

The translation of AI-generated brain metastases (BM) segmentation into clinical practice relies heavily on diverse, high-quality annotated medical imaging datasets. The BraTS-METS 2023 challenge has gained momentum for testing and benchmarking algorithms using rigorously annotated internationally compiled real-world datasets. This study presents the results of the segmentation challenge and characterizes the challenging cases that impacted the performance of the winning algorithms. Untreated brain metastases on standard anatomic MRI sequences (T1, T2, FLAIR, T1PG) from eight contributed international datasets were annotated in stepwise method: published UNET algorithms, student, neuroradiologist, final approver neuroradiologist. Segmentations were ranked based on lesion-wise Dice and Hausdorff distance (HD95) scores. False positives (FP) and false negatives (FN) were rigorously penalized, receiving a score of 0 for Dice and a fixed penalty of 374 for HD95. Eight datasets comprising 1303 studies were annotated, with 402 studies (3076 lesions) released on Synapse as publicly available datasets to challenge competitors. Additionally, 31 studies (139 lesions) were held out for validation, and 59 studies (218 lesions) were used for testing. Segmentation accuracy was measured as rank across subjects, with the winning team achieving a LesionWise mean score of 7.9. Common errors among the leading teams included false negatives for small lesions and misregistration of masks in space.The BraTS-METS 2023 challenge successfully curated well-annotated, diverse datasets and identified common errors, facilitating the translation of BM segmentation across varied clinical environments and providing personalized volumetric reports to patients undergoing BM treatment.

연구 동기 및 목표

• 사전 치료 전 MRI를 사용하여 다양하고 주석이 달린 실제 세계 데이터셋으로 AI 기반 뇌 전이종양 분절을 동기 부여하고 벤치마크한다.

제안 방법

• Eight 국제적 데이터셋의 표준 MRI 시퀀스에서 치료 전 뇌 전이종양을 단계적 프로세스를 통해 주석화했다. 이 과정에는 UNET 기반 제안, 학생 주석가, 신경영상 전문의, 그리고 최종 신경영상 전문의 승인 단계가 포함된다.

실험 결과

연구 질문

• RQ1 치료 전 뇌 전이종양에 대한 다양한 데이터세트에서 병변별 분절 방법의 성능은 어떠한가?
• RQ2 FP와 FN이 분절 알고리즘의 점수 매김과 순위를 어떻게 영향을 미치는가?
• RQ3 작은 병변 누락, 마스크 정합 실패 등 일반적으로 어떤 오류가 최첨단 방법의 한계를 형성하는가?
• RQ4 큐레이션된 공개 데이터셋이 BM 분절을 다양한 임상 환경으로 번역하는 데 어떻게 기여할 수 있는가?

주요 결과

• 8개 데이터셋의 1303편의 연구가 주석화되었고, 402편의 연구가 챌린지를 위해 공개적으로 공개되었다.
• 31편의 연구(139병변)는 검증용으로, 59편의 연구(218병변)는 테스트용으로 보류되었다.
• 병변별 Dice와 HD95를 FP/FN 페널티와 함께 주체별로 순위를 매겼다( Dice 0; HD95 374 ).
• 우승 팀은 LesionWise 평균 점수 7.9를 달성했다.
• 상위 팀들 사이에서 흔한 오류로는 작은 병변의 위양성 및 마스크 정합 오류가 있었다.