[논문 리뷰] Where is VALDO? VAscular Lesions Detection and segmentatiOn challenge at MICCAI 2021

Carole H. Sudre, Ivan Ezhov외 3명|EUR Research Repository (Erasmus University Rotterdam)|2022. 08. 15.

Cerebrospinal fluid and hydrocephalus인용 수 6

한 줄 요약

이 논문은 MICCAI 2021에서 열린 VAscular Lesions Detection and Segmentation (VALDO) 챌린지의 개요를 제시하며, 약한 레이블과 노이즈가 섞인 레이블을 사용하여 뇌 소혈관질환의 소규모 희박한 MRI 마커—확대된 혈관주변공간(EPVS), 미세출혈, 라쿠너—의 자동 검출 및 분할을 평가하는 방법을 다룬다. 결과적으로 인구 수준에서는 EPVS와 미세출혈에 대해 유망한 성능를 보였지만, 라쿠너에 대해서는 일관되지 않은 결과를 보이며, 환자 개개인의 임상 적용에 있어 높은 변동성으로 인해 도전 과제가 있음을 시사한다.

ABSTRACT

Imaging markers of cerebral small vessel disease provide valuable information on brain health, but their manual assessment is time-consuming and hampered by substantial intra- and interrater variability. Automated rating may benefit biomedical research, as well as clinical assessment, but diagnostic reliability of existing algorithms is unknown. Here, we present the results of the extit{VAscular Lesions DetectiOn and Segmentation} ( extit{Where is VALDO?}) challenge that was run as a satellite event at the international conference on Medical Image Computing and Computer Aided Intervention (MICCAI) 2021. This challenge aimed to promote the development of methods for automated detection and segmentation of small and sparse imaging markers of cerebral small vessel disease, namely enlarged perivascular spaces (EPVS) (Task 1), cerebral microbleeds (Task 2) and lacunes of presumed vascular origin (Task 3) while leveraging weak and noisy labels. Overall, 12 teams participated in the challenge proposing solutions for one or more tasks (4 for Task 1 - EPVS, 9 for Task 2 - Microbleeds and 6 for Task 3 - Lacunes). Multi-cohort data was used in both training and evaluation. Results showed a large variability in performance both across teams and across tasks, with promising results notably for Task 1 - EPVS and Task 2 - Microbleeds and not practically useful results yet for Task 3 - Lacunes. It also highlighted the performance inconsistency across cases that may deter use at an individual level, while still proving useful at a population level.

연구 동기 및 목표

• 약한 지도 학습을 활용하여 뇌 소혈관질환(CSVD)의 주요 마커인 확대된 혈관주변공간(EPVS), 미세출혈, 라쿠너의 자동 검출 및 분할을 향상시키는 것.
• 현재 수작업으로 평가되며 높은 내·외부 평가자 간 변동성을 보이는 CSVD 마커의 신뢰성 있고 확장 가능한 정량화에 대한 임상적 필요를 충족시키는 것.
• 노이즈가 많고 희박한 레이블이 있는 다중 코hort MRI 데이터에서 딥 러닝 및 기타 방법의 성능을 평가하는 것.
• 자동화된 도구가 인구 수준의 연구와 개인 임상 의사결정 지원 중 어느 쪽에 더 적합한지 평가하는 것.
• 성능의 일관성 없는 점을 특정하고, 실용적 구현을 위해 불확실성 추정 및 신뢰도 점수 도입과 같은 향상 방안을 제안하는 것.

제안 방법

• 챌린지는 ALFA, SABRE, Rotterdam Scan 연구에서 확보한 다중 코hort의 T1- 및 T2*-강도 MRI 데이터를 활용하여 학습 및 평가를 수행하였다.
• 참가자들은 EPVS, 미세출혈, 라쿠너에 대해 노이즈가 많거나 희박한 레이블을 활용한 약한 지도 학습 전략을 적용하였다.
• Task 1(EPVS)의 경우 T1-강도 영상과 희박한 레이블을 사용하였고, Task 2(미세출혈)의 경우 T2*-강도 GRE 또는 순자기율 영상(SWI)과 희박한 레이블을 사용하였으며, Task 3(라쿠너)의 경우 T1 및 T2*-강도 영상과 희박한 레이블을 사용하였다.
• 평가 기준으로는 분할에 대해 Dice 점수, 검출에 대해 F1-점수를 사용하였으며, 여러 데이터셋에 걸쳐 결과를 집계하였다.
• 라쿠너에 대해 새로운 불확실성 인식 평가 방법을 도입하여, 모델이 예측 신뢰도 점수를 출력하도록 유도하였다.
• 기준 모델로는 U-Net 변종, 어텐션 메커니즘, 앙상블 모델이 포함되었으며, 정밀한 레이블이 필요로 하지 않았다.

실험 결과

연구 질문

• RQ1 약한 지도 학습 기반 딥 러닝 모델은 다중 코hort MRI 데이터에서 EPVS, 미세출혈, 라쿠너의 신뢰할 수 있는 검출 및 분할을 달성할 수 있는가?
• RQ2 모델 성능은 다양한 영상 프로토콜과 환자 코hort 간에 어떻게 변화하는가?
• RQ3 현재 자동화된 방법이 얼마나 인구 수준의 역학 연구에 적합한가, 또는 개인 임상 진단에 얼마나 기여하는가?
• RQ4 레이블 노이즈와 희박성은 모델의 일반화 능력과 신뢰성에 어떤 영향을 미치는가?
• RQ5 불확실성 추정은 자동화된 CSVD 마커 검출의 임상적 활용 가능성을 어떻게 향상시킬 수 있는가?

주요 결과

• 챌린지에는 총 12개 팀이 참가하였으며, Task 1(EPVS)에 4개 팀, Task 2(미세출혈)에 9개 팀, Task 3(라쿠너)에 6개 팀이 참가하여 자동화된 CSVD 마커 정량화에 대한 광범위한 관심을 보였다.
• EPVS(Task 1)의 경우, 상위 성능 모델들이 평균 Dice 점수 0.6 이상을 기록하여 약한 지도 학습 조건에서도 강력한 분할 성능를 보였다.
• 미세출혈(Task 2)의 경우, F1-점수 약 0.7~0.8을 기록하여 소규모 병변과 높은 배경 노이즈에도 불구하고 강력한 검출 성능를 확보하였다.
• 라쿠너(Task 3)의 경우 성능이 일관되지 않았으며, 상위 모델들조차도 F1-점수 약 ~0.5~0.6 수준에 머물렀고, 환자 간 변동성이 높아 임상적 유용성이 제한되었다.
• 개별 환자 간 성능 변동성이 뚜렷하여, 자동화된 도구가 개인 진단보다는 인구 수준의 연구에 더 적합할 가능성이 높다는 점을 시사하였다.
• Task 3에서 불확실성 추정을 통합함으로써, 신뢰도 인식 모델이 신뢰성을 향상시킬 수 있음을 확인하였으며, 이는 더 안전한 임상 적용을 위한 길을 제시한다.