[論文レビュー] A Robust Ensemble Algorithm for Ischemic Stroke Lesion Segmentation: Generalizability and Clinical Utility Beyond the ISLES Challenge

Ezequiel de la Rosa, Mauricio Reyes+56 more|arXiv (Cornell University)|Mar 28, 2024

Acute Ischemic Stroke Management被引用数 8

ひとこと要約

著者らは、ISLES’22 上位提出の堅牢なアンサンブルを構築し、拡散強調MRIで虚血性脳卒中病変を検出・分割する。センター間・病変サイズ・脳卒中パターンを超えて一般化し、臨床的関連性を示す最先端の精度を達成し、チャレンジを超えた臨床的関連性を示す。

ABSTRACT

Diffusion-weighted MRI (DWI) is essential for stroke diagnosis, treatment decisions, and prognosis. However, image and disease variability hinder the development of generalizable AI algorithms with clinical value. We address this gap by presenting a novel ensemble algorithm derived from the 2022 Ischemic Stroke Lesion Segmentation (ISLES) challenge. ISLES'22 provided 400 patient scans with ischemic stroke from various medical centers, facilitating the development of a wide range of cutting-edge segmentation algorithms by the research community. Through collaboration with leading teams, we combined top-performing algorithms into an ensemble model that overcomes the limitations of individual solutions. Our ensemble model achieved superior ischemic lesion detection and segmentation accuracy on our internal test set compared to individual algorithms. This accuracy generalized well across diverse image and disease variables. Furthermore, the model excelled in extracting clinical biomarkers. Notably, in a Turing-like test, neuroradiologists consistently preferred the algorithm's segmentations over manual expert efforts, highlighting increased comprehensiveness and precision. Validation using a real-world external dataset (N=1686) confirmed the model's generalizability. The algorithm's outputs also demonstrated strong correlations with clinical scores (admission NIHSS and 90-day mRS) on par with or exceeding expert-derived results, underlining its clinical relevance. This study offers two key findings. First, we present an ensemble algorithm (https://github.com/Tabrisrei/ISLES22_Ensemble) that detects and segments ischemic stroke lesions on DWI across diverse scenarios on par with expert (neuro)radiologists. Second, we show the potential for biomedical challenge outputs to extend beyond the challenge's initial objectives, demonstrating their real-world clinical applicability.

研究の動機と目的

• 多様なデータセットに跨る虚血性脳卒中病変分割の一般化AIの必要性を動機づける。
• ISLES’22 チャレンジの結果を活用して、個々の手法の偏りを克服する堅牢なアンサンブルを構築する。
• 未知のセンター、変動する病変サイズ、異なる脳卒中パターンと血管領域に一般化を示す。
• NIHSSおよび90日mRSとの相関と、チューリング風の読影医の好みテストを通じて臨床有用性を評価する。

提案手法

• ISLES’22の上位チーム（SEALS、NVAUTO、SWAN）からアンサンブルを構築する。
• ISLES’22データを用いてホールドアウトテストセットと外部の実世界データセット（N=1686）で訓練・検証する。
• 画像を前処理（1x1x1 mm3へリサンプリング、z-score正規化）し、DWI/ADC/FLAIR入力を使用; クロスバリデーションとモデルアンサンブリングを適用。
• Dice、病変ごとのF1、絶対体積差（AVD）、絶対病変数差（ALD）で評価。
• 脳卒中サブグループ（パターンおよび血管領域）を評価し、主観的なチューリング風の読影医評価を実施。
• 分割出力と臨床スコア（入院時NIHSS、90日mRS）を相関させる。

Figure 1: Overview of the ISLES’22 challenge and post-challenge experimental design, including the developed algorithmic solutions. A) Challenge and post-challenge phases and datasets. B) Summary of algorithmic solutions stratified by network architecture, loss function, and input modalities. C) Cha

実験結果

リサーチクエスチョン

• RQ1 未知の imaging centers および実世界データへチャレンジ由来のアンサンブルは一般化できるか？
• RQ2 病変サイズ、脳卒中相、脳卒中パターンのサブグループでアンサンブルはどのように性能を示すか？
• RQ3 アンサンブルは影響を受けた血管領域と脳卒中サブタイプを高精度で識別できるか？
• RQ4 臨床医はチューリング風テストでのセグメンテーションを手動専門家による描写より好むか？
• RQ5 分割出力は外部データ上で臨床的アウトカム（NIHSS、90日mRS）と相関を持つか？

主な発見

• アンサンブルは unseen ISLES’22 test data でトップパフォーマンスを達成（median Dice 0.82, median lesion-wise F1 0.86）。
• 外部実世界データ（N=1686）も同様の一般化性を示した（median Dice 0.82, median lesion-wise F1 0.86）。
• 病変サイズ分析は高い体積的一致を示す（全体の Pearson r = 0.98; <5 ml で r = 0.87; 5–20 ml で r = 0.90; ≥20 ml で r = 0.96）。
• センター未観測 generalization に対して頑健で、急性と亜急性のスキャン間でパターン関連要因によりDiceスコアに差が見られた。
• アンサンブルは脳卒中パターン分類で個別チャレンジ解法を上回り（平衡精度86.9% vs. ベスト個別 78.9%）、血管領域識別でも高い精度を示した（平衡精度97.6%）。
• チューリング風評価では、読影医はアンサンブルのセグメンテーションを手動専門家描写より好んだ。

Figure 2: Performance for the participating teams in the unseen test phase of the challenge. Teams are displayed in red and in decreasing order based on their final rank. DSC: Dice Similarity Coefficient; F1 score: lesion-wise F1 score; AVD: absolute volume difference; ALD: absolute lesion count dif