[논문 리뷰] QU-BraTS: MICCAI BraTS 2020 Challenge on Quantifying Uncertainty in Brain Tumor Segmentation - Analysis of Ranking Scores and Benchmarking Results

Raghav Mehta, Angelos Filos외 90명|arXiv (Cornell University)|2021. 12. 19.

Radiomics and Machine Learning in Medical Imaging인용 수 7

한 줄 요약

이 논문은 MICCAI BraTS 2020 챌린지에서 뇌종양 세분화에 대한 혁신적인 불확실성 평가 프레임워크를 소개하며, 각 종양 부위별로 불확실성을 이진 분류 문제로 간주함으로써 과신한 예측과 참음성 부족을 보상하는 점수를 제안한다. 이 방법은 종양 경계 부근과 같은 불확실한 영역을 식별함으로써 모델의 신뢰성을 향상시키며, 다양한 팀들 사이에서 뛰어난 성능을 보이며 의료 영상 세분화에서의 불확실성 정량화에 기준을 설정한다.

ABSTRACT

Deep learning (DL) models have provided state-of-the-art performance in various medical imaging benchmarking challenges, including the Brain Tumor Segmentation (BraTS) challenges. However, the task of focal pathology multi-compartment segmentation (e.g., tumor and lesion sub-regions) is particularly challenging, and potential errors hinder translating DL models into clinical workflows. Quantifying the reliability of DL model predictions in the form of uncertainties could enable clinical review of the most uncertain regions, thereby building trust and paving the way toward clinical translation. Several uncertainty estimation methods have recently been introduced for DL medical image segmentation tasks. Developing scores to evaluate and compare the performance of uncertainty measures will assist the end-user in making more informed decisions. In this study, we explore and evaluate a score developed during the BraTS 2019 and BraTS 2020 task on uncertainty quantification (QU-BraTS) and designed to assess and rank uncertainty estimates for brain tumor multi-compartment segmentation. This score (1) rewards uncertainty estimates that produce high confidence in correct assertions and those that assign low confidence levels at incorrect assertions, and (2) penalizes uncertainty measures that lead to a higher percentage of under-confident correct assertions. We further benchmark the segmentation uncertainties generated by 14 independent participating teams of QU-BraTS 2020, all of which also participated in the main BraTS segmentation task. Overall, our findings confirm the importance and complementary value that uncertainty estimates provide to segmentation algorithms, highlighting the need for uncertainty quantification in medical image analyses. Finally, in favor of transparency and reproducibility, our evaluation code is made publicly available at: https://github.com/RagMeh11/QU-BraTS.

연구 동기 및 목표

• 딥 러닝 기반 뇌종양 세분화 모델에서 신뢰할 수 있는 불확실성 정량화의 필수적인 필요성을 해결하기 위해.
• 과신한 양성 예측과 참음성 부족 예측을 모두 보상함으로써 불확실성 추정을 공정하게 평가하는 평가 프레임워크를 개발하기 위해.
• 다중 부위 종양 세분화 작업에서 불확실성 인식 세분화 모델을 위한 기준을 제공하기 위해.
• 현재의 불확실성 평가 방법의 한계, 특히 공간 상관관계와 지표 불확실성 대체 지표에 관해 탐색하기 위해.
• 향후 불확실성 인식 모델의 개발을 지원하기 위해 팀과 방법 간의 공정한 비교 및 검증을 가능하게 하기 위해.

제안 방법

• 각 종양 부위(강화, 괴사, 부종)를 별도의 이진 세분화/불확실성 문제로 간주하는 혁신적인 평가 점수를 제안한다.
• 불확실성 지도의 평가에 가중치가 부여된 F1 점수를 적용하여 불확실성 예측에서의 참음성 부족과 참음성 오류를 보상한다.
• 팀들이 불확실한 볼륨을 표시할 수 있도록 허용하는 필터링 메커니즘을 도입하여 최종 평가에서 참음성 오류의 영향을 줄인다.
• 불확실성은 부위별로 평가되는 다중 클래스 세분화 프레임워크를 사용하며, 단일 클래스와 다중 클래스 불확실성 평가 간의 차이를 인정한다.
• 공간 상관관계를 가정하지 않고 볼륨 단위 불확실성 지도에 기반하며, 향후 공간적 구조를 고려하는 방법의 필요성을 인정한다.
• 다른 평가자 간 및 동일 평가자 간 변동성을 지표 불확실성의 대체 지표로 고려하지만, 기관적 편향과 조직 경계에서의 모호한 레이블링으로 인한 한계를 강조한다.

실험 결과

연구 질문

• RQ1 모델이 올바른 예측과 잘못된 예측 모두에서 과신할 수 있을 때, 뇌종양 세분화의 불확실성을 어떻게 공정하게 평가할 수 있는가?
• RQ2 불확실성 예측의 참음성 부족을 보상함으로써 세분화 모델의 신뢰성이 얼마나 향상되는가?
• RQ3 다중 종양 부위에서 불확실성을 효과적으로 평가할 수 있는 통합 평가 프레임워크는 다중 클래스 세분화의 복잡성을 유지하면서 효과적으로 작동할 수 있는가?
• RQ4 의료 영상 세분화에서 지표 불확실성의 대체 지표로 다수 평가자 간 변동성을 사용할 경우의 한계는 무엇인가?
• RQ5 향후 평가 프레임워크는 공간 상관관계를 어떻게 고려할 수 있는가? 특히 공간적으로 구조화된 불확실성 추정을 생성하는 신규 기법이 등장함에 따라.

주요 결과

• 제안된 평가 프레임워크는 신뢰할 수 있는 불확실성 추정 능력에 따라 팀을 성공적으로 식별하고 순위를 매겼으며, 상위 성능 모델은 종양 경계에서 더 뛰어난 강건성을 보였다.
• 특히 모호성이 높은 영역에서 불확실한 볼륨을 표시한 팀은 전체 점수에서 더 높은 성과를 거두었으며, 불확실성 인식 예측의 가치를 입증했다.
• 프레임워크는 많은 모델이 강화 종양 및 괴사 핵 부위에서 불확실성을 과소평가하며 과신하고 있음을 드러냈다.
• 평가 프레임워크는 후속 연구, 즉 누락된 시퀀스 복구 및 carotid artery 세분화 연구 등에서 성공적으로 재사용되어 일반화 가능성과 강건성을 입증했다.
• 다수 평가자 간 변동성이 지표 불확실성의 한정된 대체 지표로 밝혀졌으며, 특히 종양 경계와 같은 모호한 영역에서 공감대 형성이 어려운 경우에 특히 그렇다.
• 본 연구는 현재 방법이 볼륨 간 상관관계를 무시하고 있음에도 불구하고, 공간적으로 관련된 불확실성 추정 기법이 등장하고 있음에 따라, 공간 상관관계를 고려하는 새로운 평가 지표의 필요성을 강조한다.