[논문 리뷰] The state-of-the-art 3D anisotropic intracranial hemorrhage segmentation on non-contrast head CT: The INSTANCE challenge

Xiangyü Li, Gongning Luo외 32명|arXiv (Cornell University)|2023. 01. 09.

Intracerebral and Subarachnoid Hemorrhage Research인용 수 19

한 줄 요약

INSTANCE 2022 MICCAI 챌린지는 비등방성 비조영 NCCT에서 뇌출혈(segmentation) 평가를 표준화하고 4개 지표로 13가지 방법을 비교하며 ICH 분할의 데이터, 방법, 병목 현상을 강조한다.

ABSTRACT

Automatic intracranial hemorrhage segmentation in 3D non-contrast head CT (NCCT) scans is significant in clinical practice. Existing hemorrhage segmentation methods usually ignores the anisotropic nature of the NCCT, and are evaluated on different in-house datasets with distinct metrics, making it highly challenging to improve segmentation performance and perform objective comparisons among different methods. The INSTANCE 2022 was a grand challenge held in conjunction with the 2022 International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI). It is intended to resolve the above-mentioned problems and promote the development of both intracranial hemorrhage segmentation and anisotropic data processing. The INSTANCE released a training set of 100 cases with ground-truth and a validation set with 30 cases without ground-truth labels that were available to the participants. A held-out testing set with 70 cases is utilized for the final evaluation and ranking. The methods from different participants are ranked based on four metrics, including Dice Similarity Coefficient (DSC), Hausdorff Distance (HD), Relative Volume Difference (RVD) and Normalized Surface Dice (NSD). A total of 13 teams submitted distinct solutions to resolve the challenges, making several baseline models, pre-processing strategies and anisotropic data processing techniques available to future researchers. The winner method achieved an average DSC of 0.6925, demonstrating a significant growth over our proposed baseline method. To the best of our knowledge, the proposed INSTANCE challenge releases the first intracranial hemorrhage segmentation benchmark, and is also the first challenge that intended to resolve the anisotropic problem in 3D medical image segmentation, which provides new alternatives in these research fields.

연구 동기 및 목표

• 비등방성 3D NCCT 데이터에서 ICH 분할 방법의 공정하고 객관적인 비교를 촉진한다.
• 뇌출혈 분할을 위한 표준화된 데이터셋과 평가 프로토콜을 제공한다.
• 비등방성과 출혈 하위형이 분할 성능에 미치는 영향을 평가한다.
• ICH 분할 및 비등방성 데이터 처리의 병목 현상을 식별하고 향후 개선 방향을 제시한다.

제안 방법

• 정교하게 주석된 200개의 NCCT 볼륨 데이터셋을 선별하여 학습/검증/테스트(100/30/70)로 분할했다.
• 네 가지 평가 지표(DSC, HD, RVD, NSD)와 참가 팀 간의 종합 후 순위화 평가 프레임워크를 정의했다.
• INSTANCE 데이터에서 기준선 SLEX-NET 모델을 재학습시켜 기준 성능을 확립했다.
• 참가자들은 주로 2D/3D 변형, 데이터 증강, 에넴블링, 다양한 손실 함수와 함께 U-Net 기반 아키텍처를 사용했다(특히 nnU-Net).
• 공정한 비교를 위한 기본 구현과 Grand Challenge 호환 파이프라인을 제공했다.

실험 결과

연구 질문

• RQ1 최신 3D 분할 방법은 뇌출혈을 위한 비등방성 NCCT 부피를 어떻게 처리하는가?
• RQ2 표준화된 지표를 사용하여 INSTANCE 데이터에서 다양한 아키텍처(2D/3D/하이브리드)의 벤치마크 성능은 무엇인가?
• RQ3 혈종 부피 크기와 출혈 하위형은 분할 정확도에 어떤 영향을 미치는가?
• RQ4 현재 ICH 분할의 병목 현상은 무엇이며 비등방성 처리 개선은 어떻게 이루어질 수 있는가?

주요 결과

• 수상자는 테스트 데이터에서 평균 DSC 0.6925를 달성하여 기준선 대비 상당한 향상을 보였다.
• 13개 팀 전체에서 평균 DSC는 40.22%에서 72.06% 사이였고, NSD는 25.11%에서 53.59%, RVD는 0.21에서 1.55, HD는 21.56 mm에서 149.77 mm 사이였으며(탐지 실패는 무한대로 표시됨).
• 기준선 SLEX-Net은 테스트 단계에서 52.83% DSC와 0.725 NSD를 달성했고, 전반적인 챌린지의 난이도를 강조한다.
• 소형 출혈(낮은 혈종 부피)은 용량-DSC 분석에 의해 방법 간에 현저히 분할이 어렵다는 것을 시사한다.
• 지주막하출혈(SAH)은 하위형 중 consistently 최저 성능을 보였으며, 개선의 주요 병목 현상을 나타낸다.