[논문 리뷰] Evaluating Explainable AI on a Multi-Modal Medical Imaging Task: Can Existing Algorithms Fulfill Clinical Requirements?

Weina Jin, Xiaoxiao Li외 1명|arXiv (Cornell University)|2022. 03. 12.

Explainable Artificial Intelligence (XAI)참고 문헌 52인용 수 13

한 줄 요약

이 논문은 다중 모odal 의료 영상에서 설명 가능 인공지능(XAI) 방법을 평가하기 위해 모달리티 특화 기여도(MSFI) 지표를 제안한다. 이는 임상적 요구사항인 모달리티 인식 및 국소화된 설명을 충족하기 위한 것이다. 뇌 종양 MRI 분류 작업에서 16개의 XAI 알고리즘을 체계적으로 평가한 결과, 기존 방법들이 신뢰성과 타당성 측면에서 임상적 요구사항을 충족하지 못함을 확인하였으며, 이는 다중 모달리틱 환경에서 임상 기반의 XAI 설계가 필요하다는 점을 시사한다.

ABSTRACT

Being able to explain the prediction to clinical end-users is a necessity to leverage the power of artificial intelligence (AI) models for clinical decision support. For medical images, a feature attribution map, or heatmap, is the most common form of explanation that highlights important features for AI models' prediction. However, it is unknown how well heatmaps perform on explaining decisions on multi-modal medical images, where each image modality or channel visualizes distinct clinical information of the same underlying biomedical phenomenon. Understanding such modality-dependent features is essential for clinical users' interpretation of AI decisions. To tackle this clinically important but technically ignored problem, we propose the modality-specific feature importance (MSFI) metric. It encodes clinical image and explanation interpretation patterns of modality prioritization and modality-specific feature localization. We conduct a clinical requirement-grounded, systematic evaluation using computational methods and a clinician user study. Results show that the examined 16 heatmap algorithms failed to fulfill clinical requirements to correctly indicate AI model decision process or decision quality. The evaluation and MSFI metric can guide the design and selection of XAI algorithms to meet clinical requirements on multi-modal explanation.

연구 동기 및 목표

• 다중 모달 의료 영상에서 AI 의사결정을 설명하기 위한 임상적으로 관련성이 있는 요구사항을 규명하고 형식화하기 위해, 특히 모달리티 우선순위 및 모달리티 특화 기능 국소화에 중점을 둔다.
• 기존 XAI 평가 방법이 주로 단일 모달리티 자연 영상에 맞춰져 있고 임상 최종 사용자에 의해 검증되지 않기 때문에, 다중 모달 의료 영상에 대한 XAI 평가의 격차를 해소하기 위해 노력한다.
• 임상적 해석 패턴을 반영하는 계산 기반 지표인 모달리티 특화 기여도(MSFI)를 개발한다.
• 실제 뇌 종양 분류 작업을 대상으로 다중 모달 MRI에서 16개의 XAI 방법에 대해 계산적 평가와 전문의 기반 평가를 병행한다.
• 기존 방법들이 다중 모달 의료 영상 해석에 필수적인 임상적 요구사항을 충족하지 못함을 입증함으로써, 향후 XAI 알고리즘 설계를 이끌어내기 위한 기반을 마련한다.

제안 방법

• XAI 히트맵이 임상적 패턴—즉, 모달리티 우선순위 및 모달리티 특화 기능 국소화—를 얼마나 잘 반영하는지 측정하기 위해 모달리티 특화 기여도(MSFI) 지표를 제안한다.
• 다중 모달 MRI 뇌 종양 분류 작업에서 활성화 기반, 기울기 기반, 훼손 기반 접근 방식을 포함한 16개의 XAI 방법을 체계적으로 평가한다.
• 의료진을 대상으로 사용자 연구를 실시하여 설명의 타당성을 평가하며, 전문의들이 히트맵의 임상적 관련성과 진단적 추론과의 일치성에 따라 평가한다.
• 히트맵에 대한 사후 처리를 수행한다: 상위 1% 값은 잘라내고, 음수 값은 0으로 설정하며, [0,1] 범위로 정규화하고, 가시성을 높이기 위해 가우시안 스무딩을 적용한다.
• 모달리티별로 가림, 기능 제거, 순열을 적용하여 모달리티 특화 히트맵을 생성함으로써 임상 영상 해석 방식과 방법론적 일致성을 확보한다.
• 다중 모달 MRI(T1, T2, FLAIR, T1ce)를 기반으로 훈련된 기준 모델을 사용하여 예측을 생성하고, XAI 설명이 모델 행동과 임상 기대치에 얼마나 부합하는지 평가한다.

실험 결과

연구 질문

• RQ1 기존 XAI 방법들이 다중 모달 의료 영상에서 AI 모델의 의사결정 과정을 올바르게 반영하는 히트맵을 얼마나 잘 생성하는가?
• RQ2 XAI로 생성된 히트맵이 임상적 해석 패턴—특히 중요한 모달리티를 강조하고 각 모달리티별로 기능을 국소화하는 데서—어느 정도 일치하는가?
• RQ3 의료진이 평가한 설명의 타당성이 실제 AI 모델 예측 품질을 예측할 수 있는가?
• RQ4 기존 XAI 알고리즘이 단일 모달리티 자연 영상에 맞춰 설계되어 있어 다중 모달 임상 데이터를 고려하지 않아, 임상적 요구사항을 충족하지 못하는가?
• RQ5 제안된 MSFI 지표가 다중 모달 의료 영상에서 XAI 방법의 임상적 유용성을 효과적으로 측정하고 구분할 수 있는가?

주요 결과

• 16개의 평가된 XAI 방법은 계산적 지표와 전문의 평가를 통해 다중 모달 의료 영상에서 의사결정을 설명하는 데 있어 임상적 요구사항을 충족하지 못함을 확인하였다.
• 모든 방법에서 모델 예측에 가장 중요한 모달리티를 일관되게 강조하지 못해, 모달리티 우선순위의 정확성에 문제가 있었다.
• 대부분의 방법이 모달리티 특화가 되지 않아, 모든 영상 채널에 동일한 설명을 반복적으로 생성하여 임상적 기대에 어긋났다.
• 의료진은 모든 방법의 설명 타당성을 낮게 평가하였고, 설명 타당성과 모델 예측 품질 간에 유의미한 상관관계가 없었다.
• 제안된 MSFI 지표는 임상적 해석 패턴을 효과적으로 반영하였으며, 기존 XAI 방법의 다중 모달 데이터에서의 체계적 한계를 드러내었다.
• 본 연구는 현재 XAI 알고리즘이 모달리티 특화 정보와 임상적 추론 워크플로우를 고려하지 않은 채로 다중 모달 영상에서의 임상적 의사결정 지원에 적합하지 않음을 입증하였다.