[논문 리뷰] One Map Does Not Fit All: Evaluating Saliency Map Explanation on Multi-Modal Medical Images

Weina Jin, Xiaoxiao Li외 1명|arXiv (Cornell University)|2021. 07. 11.

Explainable Artificial Intelligence (XAI)참고 문헌 38인용 수 14

한 줄 요약

이 논문은 임상 진료에 중요한 다중 모odal 영상에서의 주목도 맵을 평가하기 위해, 모달리티 특화 기능의 중요성을 강조하는 능력을 측정하는 새로운 평가 지표인 MSFI를 제안한다. BraTS 및 합성 데이터셋에서 16가지 주목도 방법을 평가한 결과, 대부분의 방법이 모달리티 특화 중요 기능을 일관되게 국소화하지 못함을 확인하여, 임상 적용을 위한 현재의 해석 가능한 AI에서 심각한 격차가 존재함을 드러냈다.

ABSTRACT

Being able to explain the prediction to clinical end-users is a necessity to leverage the power of AI models for clinical decision support. For medical images, saliency maps are the most common form of explanation. The maps highlight important features for AI model's prediction. Although many saliency map methods have been proposed, it is unknown how well they perform on explaining decisions on multi-modal medical images, where each modality/channel carries distinct clinical meanings of the same underlying biomedical phenomenon. Understanding such modality-dependent features is essential for clinical users' interpretation of AI decisions. To tackle this clinically important but technically ignored problem, we propose the MSFI (Modality-Specific Feature Importance) metric to examine whether saliency maps can highlight modality-specific important features. MSFI encodes the clinical requirements on modality prioritization and modality-specific feature localization. Our evaluations on 16 commonly used saliency map methods, including a clinician user study, show that although most saliency map methods captured modality importance information in general, most of them failed to highlight modality-specific important features consistently and precisely. The evaluation results guide the choices of saliency map methods and provide insights to propose new ones targeting clinical applications.

연구 동기 및 목표

• 다중 모달 영상에서의 주목도 맵이 임상적으로 의미 있는 모달리티 특화 기능 중요도를 반영하고 있는지 평가할 수 있는 평가 프레임워크의 부족 문제를 해결하기 위해.
• 임상적 추론과 일치하는 지표를 개발하여, 각 모달리티에 대한 우선순위 설정과 해당 모달리티의 정확한 기능 국소화를 모두 포함하기 위해.
• 임상 기반 지표를 사용하여 실제 및 합성 다중 모달 MRI 데이터에서 기존 16가지 주목도 맵 방법의 성능을 평가하기 위해.
• 임상 적용에 적합한 주목도 방법을 선택할 수 있도록, 임상 해석 가능성 요구사항을 가장 잘 충족하는 방법을 식별하기 위해.
• 향후 주목도 방법의 개발을 안내하기 위해 임상 사전 지식과 모델의 표현 충실도를 통합하는 데 기여하기 위해.

제안 방법

• 모달리티 중요도(MI)와 모달리티 특화 기능 국소화를 통합한 복합 지표인 MSFI(모달리티 특화 기능 중요도)를 제안.
• 임상 애너테이션과 모델 예측에서 계산된 셰플리 값(Shapley values)을 사용해 모달리티 중요도를 정의하여, 임상적 우선순위를 반영.
• 세그멘테이션 마스크를 사용해 모달리티 특화 기능 중요도를 계산하여, 공간적 국소화가 임상적 관련성과 일치하도록 보장.
• 모든 방법과 데이터셋 간 비교를 위해 MSFI 점수를 [0,1] 범위로 정규화하여 정량적 벤치마킹 가능하게 함.
• 3D 주목도 맵에 대해 전문가 평가와의 상관관계를 입증하기 위해 임상의 사용자 연구를 수행하여 지표의 임상 판단과의 일치성을 검증.
• 메트릭의 강건성과 일반화 능력을 테스트하기 위해 알려진 진실값(모달리티 중요도)을 가진 합성 다중 모달 MRI 데이터를 생성.

실험 결과

연구 질문

• RQ1 기존 주목도 맵 방법들은 임상적 추론이 요구하는 대로 다중 모달 영상에서 모달리티 특화 기능을 정확하게 강조할 수 있는가?
• RQ2 주목도 맵 방법들은 임상 전문가의 모달리티 우선순위 및 기능 국소화 선호도와 얼마나 잘 일치하는가?
• RQ3 제안된 MSFI 지표는 임상의 애너테이션 기반 주목도 맵 품질과 임상 지식과 얼마나 높은 상관관계를 가지는가?
• RQ4 주목도 맵 방법들은 다양한 데이터 포인트에서 일관된 성능을 보이며, 임상적 해석 가능성에서 높은 변동성이 존재하는가?
• RQ5 MSFI 지표는 임상 의사결정 지원 시스템에 구현하기 위해 주목도 방법을 신뢰성 있게 순위 매기고 선택하는 데 사용될 수 있는가?

주요 결과

• 다수의 주목도 맵 방법은 일반적인 모달리티 중요도를 포착하고 있음에도 불구하고, 모달리티 특화 중요 기능을 일관되게 정확히 강조하지 못함.
• BraTS 데이터셋에서 모든 방법의 평균 MSFI 점수는 중간에서 하위 수준에 위치하며, 개별 테스트 케이스 간에 큰 변동성이 있음.
• GuidedBackProp와 GuidedGradCAM가 평균 MSFI 점수에서 가장 높은 성능을 보였지만, 여전히 높은 변동성을 보이며, 개별 점수는 0에서 1 사이로 변동함.
• 임상의 사용자 연구 결과, MSFI 점수와 전문가 평가 간 중간 정도의 상관관계가 확인되어, 지표가 임상 판단과 잘 일치함을 검증.
• 진실값이 알려진 합성 데이터셋(주로 T1C 모달리티)에서, T1C에서 종양을 정확히 강조한 것은 오직 GuidedBackProp와 GuidedGradCAM 뿐이며, 나머지 방법들은 실패함.
• 본 연구는 기존 주목도 방법이 성능의 불안정성과 낮은 모달리티 특화 국소화 능력으로 인해 임상 사용자가 모델 의사결정 품질을 신뢰할 수 없을 수 있음을 드러냄.