[논문 리뷰] Instance-level quantitative saliency in multiple sclerosis lesion segmentation

Federico Spagnolo, Nataliia Molchanova외 6명|arXiv (Cornell University)|2024. 06. 13.

Cell Image Analysis TechniquesBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 3D U-Net 기반의 다발성 경화증(MS) 백질 병변의 영상 학습 분류에 적합화된 두 가지 인스턴스 수준의 설명 가능한 인공지능(XAI) 방법—SmoothGrad 및 Grad-CAM++—을 제안한다. 병변 탐지가 FLAIR 강도 패턴에 크게 의존하며, 병변 주변 약 7mm의 조직적 맥락이 필요하다는 점을 규명하였으며, 사전 지도 기반의 시각화 지도를 통해 참 양성, 참 음성, 참 부정성 병변을 정량적으로 구분할 수 있음을 보여준다.

ABSTRACT

Explainable artificial intelligence (XAI) methods have been proposed to interpret model decisions in classification and, more recently, in semantic segmentation. However, instance-level XAI for semantic segmentation, namely explanations focused on a single object among multiple instances of the same class, remains largely unexplored. Such explanations are particularly important in multi-lesional diseases to understand what drives the detection and contouring of a specific lesion. We propose instance-level explanation maps for semantic segmentation by extending SmoothGrad and Grad-CAM++ to obtain quantitative instance saliency. These methods were applied to the segmentation of white matter lesions (WMLs), a magnetic resonance imaging biomarker in multiple sclerosis. We used 4023 FLAIR and MPRAGE MRI scans from 687 patients collected at the University Hospital of Basel, Switzerland, with WML masks annotated by four expert clinicians. Three deep learning architectures, a 3D U-Net, nnU-Net, and Swin UNETR, were trained and evaluated, achieving normalized Dice scores of 0.71, 0.78, and 0.80, respectively. Instance saliency maps showed that the models relied primarily on FLAIR rather than MPRAGE for WML segmentation, with positive saliency inside lesions and negative saliency in their immediate neighborhood, consistent with clinical practice. Peak saliency values differed significantly across correct and incorrect predictions, suggesting that quantitative instance saliency may help identify segmentation errors. In conclusion, we introduce two architecture-agnostic XAI methods that provide quantitative instance-level explanations for semantic segmentation and support clinically meaningful interpretation of model decisions.

연구 동기 및 목표

• 의료 영상 분석에 기반한 딥러닝 기반 의미 분류에서 인스턴스 수준의 설명 가능성 부족 문제를 해결한다.
• 다중 병변 존재 상황에서 3D U-Net 모델이 개별 MS 병변을 탐지하고 분류할 때 의사결정 과정을 규명한다.
• 참 양성, 참 부정성, 참 음성, 참 양성 병변 볼륨의 사전 지도 패턴 분석을 통해 모델의 취약점을 규명한다.
• 합성 병변 실험을 통해 정확한 병변 분류에 필요한 최소한의 맥락 조직 요구 조건을 규명한다.
• 모델 검증, 최적화 및 임상적 통합을 지원하기 위해 정량적이고 인스턴스 기반의 설명을 제공한다.

제안 방법

• 기울기 기반의 사전 지도 기반 설명 지도를 생성하기 위해 3D 의미 분류에 맞게 SmoothGrad 및 Grad-CAM++를 적응화한다.
• 전문가가 마스킹한 병변을 포함한 687명의 MS 환자(총 4043장의 FLAIR 및 MPRAGE 영상)를 대상으로 3D U-Net을 학습시킨다.
• 모odal별 기여도 평가를 위해 FLAIR 및 MPRAGE 영상 시퀀스를 모두 입력으로 사용하여 사전 지도를 생성한다.
• 배경, 백질, 병변 주변 부분 맥락이 일부 포함된 위치에 합성 병변을 삽입하여 모델 민감도를 테스트하는 탈락 실험을 수행한다.
• 병변 주변 맥락 조직의 양을 확장(팽창)하여 변화시키며, 예측 신뢰도 및 사전 지도 분포에 미치는 영향을 측정한다.
• 참 양성(TP), 참 부정성(FP), 참 음성(FN), 참 양성(TN) 병변 볼륨에서의 사전 지도 피크 분포를 정량화하여 모델의 주의 패턴과 오류 탐지 가능성을 평가한다.

실험 결과

연구 질문

• RQ1 SmoothGrad 및 Grad-CAM++는 3D U-Net의 MS 병변 분류 의사결정 과정을 어떻게 인스턴스 수준의 사전 지도로 시각화하는가?
• RQ2 FLAIR 또는 MPRAGE 중 어느 MRI 시퀀스가 병변 탐지에 더 크게 기여하는가? 이는 사전 지도에 어떻게 반영되는가?
• RQ3 사전 지도 패턴이 참 양성, 참 부정성, 참 음성 병변 예측을 정량적으로 의미 있는 방식으로 구분할 수 있는가?
• RQ4 신뢰할 수 있는 병변 분류를 위해 필요한 최소한의 병변 주변 조직은 얼마이며, 이는 모델의 신뢰도에 어떤 영향을 미치는가?
• RQ5 다른解부학적 맥락(예: 배경 vs. 백질)에 합성 병변을 배치했을 때 모델의 주의 집중과 예측 신뢰도에 어떤 영향을 미치는가?

주요 결과

• SmoothGrad 기반의 사전 지도에서는 병변 내부에서 양의 값과 그 주변에서 음의 값을 나타내어, 병변 내 강도 증가와 주변 조직에서의 감소가 병변 예측을 지원함을 시사한다.
• FLAIR 시퀀스는 MPRAGE보다 모델 예측에 더 큰 영향을 미치며, 모든 병변 유형(TP, FP, FN, TN)에서 더 강한 사전 지도 기울기를 보였다.
• TP, FP, FN, TN 병변 볼륨에서의 사전 지도 피크 분포는 통계적으로 유의미하게 다름을 보여, 사전 지도 패턴이 정확한 예측과 잘못된 예측을 정량적으로 구분할 수 있음을 시사한다.
• 검은 배경에 둘러싸인 인위적 고립 병변은 탐지되지 않았으며, 이는 신뢰할 수 있는 분류를 위해 최소 약 7mm의 병변 주변 조직이 필요함을 입증한다.
• 예측 점수는 병변 경계에서 12–15mm 거리에서 포화 상태에 도달하여, 이 거리 이상으로는 추가 맥락 조직이 분류 신뢰도 향상에 기여하지 않음을 나타낸다.
• 모델이 FLAIR의 국소 강도 패턴에 의존하고, 수신 영역이 제한되어 있음을 감안할 때, 대부분의 병변에 대해 96mm³의 패치 크기는 불필요하게 크며, 12–15mm 이상의 맥락에서 성능 향상이 멈추는 점을 감안하면 더욱 그렇다.