[논문 리뷰] Self-eXplainable AI for Medical Image Analysis: A Survey and New Outlooks

Junlin Hou, Shuya Liu외 5명|arXiv (Cornell University)|2024. 10. 03.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

의료 영상 분석을 위한 자가 설명 가능한 AI(S-XAI)에 대한 포괄적 고찰로, 입력-모델-출력 설명 가능성의 3요소 분류법을 제안하고 2024년 9월까지의 200편이 넘는 논문을 검토한다.

ABSTRACT

The increasing demand for transparent and reliable models, particularly in high-stakes decision-making areas such as medical image analysis, has led to the emergence of eXplainable Artificial Intelligence (XAI). Post-hoc XAI techniques, which aim to explain black-box models after training, have raised concerns about their fidelity to model predictions. In contrast, Self-eXplainable AI (S-XAI) offers a compelling alternative by incorporating explainability directly into the training process of deep learning models. This approach allows models to generate inherent explanations that are closely aligned with their internal decision-making processes, enhancing transparency and supporting the trustworthiness, robustness, and accountability of AI systems in real-world medical applications. To facilitate the development of S-XAI methods for medical image analysis, this survey presents a comprehensive review across various image modalities and clinical applications. It covers more than 200 papers from three key perspectives: 1) input explainability through the integration of explainable feature engineering and knowledge graph, 2) model explainability via attention-based learning, concept-based learning, and prototype-based learning, and 3) output explainability by providing textual and counterfactual explanations. This paper also outlines desired characteristics of explainability and evaluation methods for assessing explanation quality, while discussing major challenges and future research directions in developing S-XAI for medical image analysis.

연구 동기 및 목표

• 고위험성의 의료 영상 응용에서 본질적으로 해석 가능한 AI의 필요성을 제고한다.
• 이미지 분석 파이프라인(입력, 모델, 출력) 전반에 걸친 S-XAI 방법의 체계적 분류법을 제시한다.
• 의료 영상에서 S-XAI에 사용되는 모달리티, 응용 분야, 데이터세트 및 평가 지표를 요약한다.
• 연구자와 실무자를 안내하기 위한 도전과제, 격차 및 향후 방향을 강조한다.

제안 방법

• DNN 구성요소와 일치하는 S-XAI의 3부분 분류법을 제안: 입력 설명 가능성, 모델 설명 가능성, 출력 설명 가능성.
• 다양한 모달리티와 응용 분야에 걸쳐 2018년~2024년 9월까지 컨퍼런스와 저널의 200편 이상의 논문을 검토한다.
• 입력 설명 가능성 접근법: 설명 가능한 특징 공학 및 지식 그래프(사전 지식, 데이터, 하이브리드)를 다룬다.
• 모델 설명 가능성 접근법: 주의 기반 학습(구조 가이드와 손실 가이드), 개념 기반 학습(지도, 비지도, 생성적, 텍스트 및 시각적 개념 포함)을 다룬다.
• 출력 설명 가능성에는 반사실적(counterfactual) 및 텍스트 설명을 포함하며 평가 기준을 제시한다.

실험 결과

연구 질문

• RQ1 의료 영상 분석에 적용된 자가 설명 가능 AI 접근법은 무엇인가?
• RQ2 입력, 모델, 출력 설명 가능성을 어떻게 통합하여 의료 영상 모델의 신뢰도와 투명성을 향상시킬 수 있는가?
• RQ3 의료 영상용 S-XAI에서 가장 많이 다뤄진 모달리티, 응용 분야, 데이터세트는 무엇이며 어떤 평가 방법이 존재하는가?
• RQ4 임상 실무에서의 S-XAI의 주요 도전과제와 향후 방향은 무엇인가?

주요 결과

• 2018년부터 2024년까지 S-XAI 연구가 증가 추세를 보이며, 의료 영상 논문이 전체의 약 절반을 차지한다.
• 입력 설명 가능성은 해석 가능한 특징 공학과 지식 그래프(사전 지식, 데이터, 하이브리드)를 활용하여 도메인 지식을 주입한다.
• 모델 설명 가능성은 주의 기반, 개념 기반, 프로토타입 기반 설계를 통해 본질적 설명을 생성한다.
• 출력 설명 가능성은 예측과 함께 텍스트 설명이나 반사실적 설명과 같은 설명을 생성하는 것을 포함한다.
• 설명 가능한 품질의 포괄적 평가가 논의되며 충실도, 해석가능성, 임상 유용성이 핵심 기준으로 강조된다.
• 이 검토는 지식 그래프 노동 집약도, 데이터 이질성, 설명의 평가 등 주요 도전을 식별하고 향후 방향을 제시한다.