[논문 리뷰] QUBIQ: Uncertainty Quantification for Biomedical Image Segmentation Challenge

Hongwei Bran, Fernando Navarro외 78명|arXiv (Cornell University)|2024. 03. 19.

Radiomics and Machine Learning in Medical Imaging인용 수 5

한 줄 요약

QUBIQ는 2D/3D 작업 전반에 걸친 다중 평가자, 다중 모달리티 데이터셋을 사용하여 생물의학 영상 분절에서의 불확실성 정량화 벤치마크를 수립하고, 앙상블 방법이 효과적임을 보여주는 한편 효율적인 3D 불확실성 방법의 필요성을 강조한다.

ABSTRACT

Uncertainty in medical image segmentation tasks, especially inter-rater variability, arising from differences in interpretations and annotations by various experts, presents a significant challenge in achieving consistent and reliable image segmentation. This variability not only reflects the inherent complexity and subjective nature of medical image interpretation but also directly impacts the development and evaluation of automated segmentation algorithms. Accurately modeling and quantifying this variability is essential for enhancing the robustness and clinical applicability of these algorithms. We report the set-up and summarize the benchmark results of the Quantification of Uncertainties in Biomedical Image Quantification Challenge (QUBIQ), which was organized in conjunction with International Conferences on Medical Image Computing and Computer-Assisted Intervention (MICCAI) 2020 and 2021. The challenge focuses on the uncertainty quantification of medical image segmentation which considers the omnipresence of inter-rater variability in imaging datasets. The large collection of images with multi-rater annotations features various modalities such as MRI and CT; various organs such as the brain, prostate, kidney, and pancreas; and different image dimensions 2D-vs-3D. A total of 24 teams submitted different solutions to the problem, combining various baseline models, Bayesian neural networks, and ensemble model techniques. The obtained results indicate the importance of the ensemble models, as well as the need for further research to develop efficient 3D methods for uncertainty quantification methods in 3D segmentation tasks.

연구 동기 및 목표

• 의료 영상 분절에서 평가자 간 변동성의 모델링 필요성과 그것이 다운스트림 작업에 미치는 영향을 동기화한다.
• MRI/CT에 걸쳐 2D 및 3D 작업을 포괄하는 공개적으로 이용 가능한 다중 평가자, 다중 센터 데이터셋을 생성한다.
• 다운스트림 인간 주석자의 변동성과 대조하여 분절에 대한 불확실성 정량화 방법을 평가하고 순위를 매긴다.
• 강건하고 임상적으로 적용 가능한 분절 모델의 향후 개발을 안내하기 위한 벤치마크 프레임워크와 통찰력을 제공한다.

제안 방법

• 2D 및 3D 분절 작업을 포함한 다중 평가자, 다중 모달리티 데이터셋을 도입한다.
• 다중 신뢰도 임계값에서 불확실성을 평가하기 위해 확률적 예측과 Q-Dice를 포함하는 평가 지표 프레임워크를 정의한다.
• baseline 모델, 베이지안 접근법, 앙상블을 비교하기 위해 MICCAI 기반의 도전과제(QUBIQ 2020 및 2021)를 조직한다.
• 여러 확률 수준에서 임계값화된 Dice 기반 지표를 사용하여 평균 전문가 구획화와의 일치도를 정량화한다.
• 작업 및 모달리티에 걸친 성능을 기반으로 참가자들의 방법을 집계하고 순위를 매긴다.

실험 결과

연구 질문

• RQ1 알고리즘적 불확실성 추정치가 생물의학 분절에서 인간 전문가들 사이에서 관찰되는 변동성을 얼마나 잘 재현하는가?
• RQ2 다양한 2D/3D 작업과 여러 장기에 대해 평가자 간 불확실성을 가장 잘 포착하는 모델링 접근법(앙상블, 확률적 네트워크 등)은 무엇인가?
• RQ3 3D 불확실성 정량화가 2D에 비해 뒤처지는가, 그리고 앙상블이나 특화된 구조가 격차를 좁힐 수 있는가?
• RQ4 의료 영상 분절에서 불확실성 정량화를 벤치마킹하는 데 가장 적합한 데이터셋과 평가 프로토콜은 무엇인가?

주요 결과

• 앙상블 기반 접근법은 분절에서의 불확실성 정량화에 중요하다.
• 3D 분절 작업에서 더 효율적인 3D 불확실성 정량화 방법의 필요성이 있다.
• MRI 및 CT 모달리티에 걸친 공개적으로 이용 가능한 다중 평가자, 다중 센터 데이터셋이 벤치마킹을 위해 도입되었다.
• 두 번의 도전 과제 반복에서 방법들이 일반적으로 2020년에서 2021년으로 향상되었고 경쟁력이 증가했다.
• 벤치마크는 전문가 변동성을 근사하기 위해 다수의 주석자에 걸친 예측의 평균화/앙상블의 역할을 강조한다.