[論文レビュー] Where is VALDO? VAscular Lesions Detection and segmentatiOn challenge at MICCAI 2021

Carole H. Sudre, Ivan Ezhov+3 more|EUR Research Repository (Erasmus University Rotterdam)|Aug 15, 2022

Cerebrospinal fluid and hydrocephalus被引用数 6

ひとこと要約

本論文は、MICCAI 2021で開催されたVAscular Lesions Detection and Segmentation（VALDO）チャレンジを紹介し、弱いラベルとノイジーなラベルを用いて、脳小血管病変の小さな希少なMRIマーカー（拡張した血管周囲腔隙（EPVS）、微小出血、ラキュン）の自動検出およびセグメンテーションを評価した。結果として、集団レベルではEPVSおよび微小出血の性能が有望であったが、ラキュンに関しては一貫性のない結果が得られ、症例ごとの高いばらつきが原因で、個別臨床応用に課題があることが浮き彫りになった。

ABSTRACT

Imaging markers of cerebral small vessel disease provide valuable information on brain health, but their manual assessment is time-consuming and hampered by substantial intra- and interrater variability. Automated rating may benefit biomedical research, as well as clinical assessment, but diagnostic reliability of existing algorithms is unknown. Here, we present the results of the extit{VAscular Lesions DetectiOn and Segmentation} ( extit{Where is VALDO?}) challenge that was run as a satellite event at the international conference on Medical Image Computing and Computer Aided Intervention (MICCAI) 2021. This challenge aimed to promote the development of methods for automated detection and segmentation of small and sparse imaging markers of cerebral small vessel disease, namely enlarged perivascular spaces (EPVS) (Task 1), cerebral microbleeds (Task 2) and lacunes of presumed vascular origin (Task 3) while leveraging weak and noisy labels. Overall, 12 teams participated in the challenge proposing solutions for one or more tasks (4 for Task 1 - EPVS, 9 for Task 2 - Microbleeds and 6 for Task 3 - Lacunes). Multi-cohort data was used in both training and evaluation. Results showed a large variability in performance both across teams and across tasks, with promising results notably for Task 1 - EPVS and Task 2 - Microbleeds and not practically useful results yet for Task 3 - Lacunes. It also highlighted the performance inconsistency across cases that may deter use at an individual level, while still proving useful at a population level.

研究の動機と目的

• 弱い教師あり学習を用いて、拡張した血管周囲腔隙（EPVS）、微小出血、ラキュンの主な脳小血管病変（CSVD）マーカーの自動検出およびセグメンテーションを進める。
• 現在、高頻度の評価者間および評価者内ばらつきがあるため、CSVDマーカーの信頼性がありスケーラブルな定量的評価の臨床的ニーズに対応する。
• ノイジーで希少なアノテーションを伴うマルチコhort MRIデータ上で、ディープラーニングおよびその他の手法の性能を評価する。
• 集団レベルの研究と個別臨床意思決定支援の両方に適した自動化ツールの実現可能性を評価する。
• 性能の不一致を特定し、実用的導入のための不確実性推定と信頼性スコアの導入を含めた改善策を提案する。

提案手法

• チャレンジは、ALFA、SABRE、Rotterdam Scan研究から得られたマルチコhortのT1およびT2*-強調MRIデータを用いて、トレーニングおよび評価に使用した。
• 参加者は、EPVS、微小出血、ラキュンのノイジーまたは希少なアノテーションを活用した弱い教師あり学習戦略を適用した。
• タスク1（EPVS）では、希少なアノテーションを伴うT1強調画像が使用された。タスク2（微小出血）では、T2*強調GREまたは感受率強調画像（SWI）と希少ラベルが使用された。タスク3（ラキュン）では、T1およびT2*強調画像と希少ラベルが使用された。
• 標準指標を用いて評価が実施された：セグメンテーションにはDiceスコア、検出にはF1スコアが使用され、複数のデータセットにわたる結果が集約された。
• ラキュンのための新しい不確実性に配慮した評価が導入され、モデルが予測の信頼性スコアを出力するよう促された。
• ベースライン手法にはU-Netの変種、アテンション機構、アンサンブルモデルが含まれ、高密度アノテーションの要件はなかった。

実験結果

リサーチクエスチョン

• RQ1 弱い教師ありディープラーニングモデルは、マルチコhort MRIデータにおいてEPVS、微小出血、ラキュンの信頼性ある検出およびセグメンテーションを達成できるか？
• RQ2 モデルの性能は、異なる画像プロトコルおよび患者コhort間でどのように変動するか？
• RQ3 現在の自動化手法は、集団レベルの疫学的研究と個別臨床診断の両方にどの程度対応できるか？
• RQ4 ラベルのノイズと希少性は、モデルの一般化性能および信頼性にどのような影響を与えるか？
• RQ5 不確実性推定は、自動CSVDマーカー検出の臨床的有用性を向上させられるか？

主な発見

• チャレンジには12のチームが参加し、タスク1（EPVS）に4チーム、タスク2（微小出血）に9チーム、タスク3（ラキュン）に6チームが参加し、CSVDマーカーの自動定量化に対する広範な関心がうかがえた。
• EPVS（タスク1）では、上位モデルが平均してDiceスコア0.6以上を達成し、弱い教師あり学習でも強力なセグメンテーション性能を示した。
• 微小出血（タスク2）では、F1スコアが約0.7〜0.8に達し、小さな病変と高いバックグラウンドノイズにもかかわらず、堅牢な検出性能を示した。
• ラキュン（タスク3）では、性能が一貫せず、上位モデルでもF1スコアはやや低い（約0.5〜0.6）にとどまり、症例間でのばらつきが大きく、臨床的有用性に制限があった。
• 個別症例における性能のばらつきは顕著で、自動化ツールが個別診断よりも集団レベルの研究に適している可能性を示唆した。
• タスク3における不確実性推定の導入により、信頼性スコアを出力するモデルが信頼性を向上させられることを明らかにした。これは、より安全な臨床導入への道筋を示唆している。