[논문 리뷰] A Robust Ensemble Algorithm for Ischemic Stroke Lesion Segmentation: Generalizability and Clinical Utility Beyond the ISLES Challenge

Ezequiel de la Rosa, Mauricio Reyes외 56명|arXiv (Cornell University)|2024. 03. 28.

Acute Ischemic Stroke Management인용 수 8

한 줄 요약

저자들은 diffusion-weighted MRI에서 허혈성 뇌졸중 병변을 탐지하고 분할하기 위해 ISLES’22 제출의 강건한 앙상블을 구축하여 데이터 센터 간, 병변 크기, 뇌졸중 패턴에 일반화되는 최첨단 정확도를 달성하고 챌린지 너머의 임상적 관련성을 보여줍니다.

ABSTRACT

Diffusion-weighted MRI (DWI) is essential for stroke diagnosis, treatment decisions, and prognosis. However, image and disease variability hinder the development of generalizable AI algorithms with clinical value. We address this gap by presenting a novel ensemble algorithm derived from the 2022 Ischemic Stroke Lesion Segmentation (ISLES) challenge. ISLES'22 provided 400 patient scans with ischemic stroke from various medical centers, facilitating the development of a wide range of cutting-edge segmentation algorithms by the research community. Through collaboration with leading teams, we combined top-performing algorithms into an ensemble model that overcomes the limitations of individual solutions. Our ensemble model achieved superior ischemic lesion detection and segmentation accuracy on our internal test set compared to individual algorithms. This accuracy generalized well across diverse image and disease variables. Furthermore, the model excelled in extracting clinical biomarkers. Notably, in a Turing-like test, neuroradiologists consistently preferred the algorithm's segmentations over manual expert efforts, highlighting increased comprehensiveness and precision. Validation using a real-world external dataset (N=1686) confirmed the model's generalizability. The algorithm's outputs also demonstrated strong correlations with clinical scores (admission NIHSS and 90-day mRS) on par with or exceeding expert-derived results, underlining its clinical relevance. This study offers two key findings. First, we present an ensemble algorithm (https://github.com/Tabrisrei/ISLES22_Ensemble) that detects and segments ischemic stroke lesions on DWI across diverse scenarios on par with expert (neuro)radiologists. Second, we show the potential for biomedical challenge outputs to extend beyond the challenge's initial objectives, demonstrating their real-world clinical applicability.

연구 동기 및 목표

• 다양한 데이터셋에 걸쳐 허혈성 뇌졸중 병변 분할을 위한 일반화 가능한 AI의 필요성을 입증한다.
• ISLES’22 챌린지 결과를 활용해 개별 방법 편향을 극복하는 강건한 앙상블을 구축한다.
• 보지 못한 센터, 변동하는 병변 크기, 다양한 뇌졸중 패턴 및 혈관 영역에 대한 일반화를 시연한다.
• NIHSS 및 90일 mRS와의 상관관계 및 튜링(?) 유사 독자 선호 평가를 통한 임상적 활용도를 평가한다.

제안 방법

• 상위 ISLES’22 팀(SEALS, NVAUTO, SWAN)의 앙상블을 구성한다.
• 보유 테스트 세트와 외부 실제 데이터셋(N=1686)을 사용한 ISLES’22 데이터로 학습 및 검증한다.
• 이미지를 1x1x1 mm3로 재샘플링하고 z-점수 정규화를 포함한 전처리를 수행하며 DWI/ADC/FLAIR 입력을 사용한다; 교차검증 및 모델 앙상블을 적용한다.
• Dice, 병변별 F1, 절대 부피 차이(AVD), 절대 병변 개수 차이(ALD)를 이용해 평가한다.
• 패턴 및 혈관 영역별 뇌졸중 하위군을 평가하고 주관적 튜링 유사 신경영상의사 평가를 수행한다.
• 입원 NIHSS 및 90일 mRS와의 상관관계로 분할 결과를 임상 점수와 연관시킨다.

Figure 1: Overview of the ISLES’22 challenge and post-challenge experimental design, including the developed algorithmic solutions. A) Challenge and post-challenge phases and datasets. B) Summary of algorithmic solutions stratified by network architecture, loss function, and input modalities. C) Cha

실험 결과

연구 질문

• RQ1 도전 과제에서 도출된 앙상블이 보지 못한 영상 센터와 실제 데이터에 일반화될 수 있는가?
• RQ2 앙상블이 병변 크기, 뇌졸중 단계 및 패턴 하위군에서 어떻게 수행되는가?
• RQ3 앙상블이 영향 받은 혈관 영역 및 뇌졸중 하위 유형을 높은 정확도로 식별할 수 있는가?
• RQ4 튜링 유사 시험에서 임상 의사들이 수동 전문 구획화보다 앙상블의 분할을 선호하는가?
• RQ5 외부 데이터에서 분할 결과가 주요 임상 결과(NIHSS, 90일 mRS)와 상관관계가 있는가?

주요 결과

• 앙상블은 보이지 않는 ISLES’22 테스트 데이터에서 최상위 성능을 달성했다(중간 Dice 0.82, 중간 병변별 F1 0.86).
• 외부 실세계 데이터(N=1686)에서도 유사한 일반화 가능성을 보였다(중간 Dice 0.82, 중간 병변별 F1 0.86).
• 병변 크기 분석에서 부피 일치도가 높음을 보였다(Pearson r = 0.98 전체; r = 0.87 <5 ml; r = 0.90 5–20 ml; r = 0.96 ≥20 ml).
• 센터에 대한 강건성(보지 못한 센터 일반화) 및 뇌졸중 단계 전반에 걸친 성능이 있어 급성 대 급성초기 간 Dice 점수 차이가 단계 관련 요인 때문인 것으로 나타났다.
• 뇌졸중 패턴 분류(균형 정확도 86.9% 대 개별 최상 78.9%) 및 혈관 영역 식별(균형 정확도 97.6%)에서 개별 챌린지 솔루션보다 우수한 성능을 보였다.
• 튜링 유사 평가에서 신경영상의들이 앙상블의 분할을 수동 전문가 구획화보다 선호했다.

Figure 2: Performance for the participating teams in the unseen test phase of the challenge. Teams are displayed in red and in decreasing order based on their final rank. DSC: Dice Similarity Coefficient; F1 score: lesion-wise F1 score; AVD: absolute volume difference; ALD: absolute lesion count dif