[논문 리뷰] Explainable AI for clinical risk prediction: a survey of concepts, methods, and modalities

Munib Mesinovic, Peter Watkinson외 1명|arXiv (Cornell University)|2023. 08. 16.

Machine Learning in Healthcare인용 수 5

한 줄 요약

이 종합적 서베이는 임상 위험 예측에서 설명 가능 인공지능(XAI)을 위한 포괄적인 프레임워크를 제안하며, 다중모odal 의료 데이터 전반에 걸쳐 해석 가능성, 공정성, 투명성을 통합한다. 신뢰도, 신뢰성, 임상 적용을 향상시키기 위해 합성 데이터를 사용한 엔드 투 엔드 검증, 다중 방법 기반 설명 가능성, 오픈 사이언스 관행을 권장한다.

ABSTRACT

Recent advancements in AI applications to healthcare have shown incredible promise in surpassing human performance in diagnosis and disease prognosis. With the increasing complexity of AI models, however, concerns regarding their opacity, potential biases, and the need for interpretability. To ensure trust and reliability in AI systems, especially in clinical risk prediction models, explainability becomes crucial. Explainability is usually referred to as an AI system's ability to provide a robust interpretation of its decision-making logic or the decisions themselves to human stakeholders. In clinical risk prediction, other aspects of explainability like fairness, bias, trust, and transparency also represent important concepts beyond just interpretability. In this review, we address the relationship between these concepts as they are often used together or interchangeably. This review also discusses recent progress in developing explainable models for clinical risk prediction, highlighting the importance of quantitative and clinical evaluation and validation across multiple common modalities in clinical practice. It emphasizes the need for external validation and the combination of diverse interpretability methods to enhance trust and fairness. Adopting rigorous testing, such as using synthetic datasets with known generative factors, can further improve the reliability of explainability methods. Open access and code-sharing resources are essential for transparency and reproducibility, enabling the growth and trustworthiness of explainable research. While challenges exist, an end-to-end approach to explainability in clinical risk prediction, incorporating stakeholders from clinicians to developers, is essential for success.

연구 동기 및 목표

• 임상 위험 예측에 사용되는 복잡한 AI 모델에서 설명 가능성이 점점 더 중요해지는 데에 대응하기 위해, 결정이 환자 결과에 직접적인 영향을 미치기 때문이다.
• 임상 AI 시스템에서 설명 가능성, 해석 가능성, 공정성, 편향, 투명성 간의 상호작용을 명확히 하기 위해.
• 정량적 평가 및 임상 평가를 통해 전자기록(EHRs), 의료 영상, 텍스트와 같은 다양한 임상 모달리티에서 XAI 방법을 평가하고 검증하기 위해.
• 신뢰성과 재현 가능성을 향상시키기 위해 외부 검증, 합성 데이터셋 테스트, 코드 공유를 촉진하기 위해.
• 임상의사, 환자, 개발자 등 이해관계자들이 모두 포함된 엔드 투 엔드 접근 방식을 통해 신뢰와 실제 적용 가능성 확보를 위해.

제안 방법

• 임상 AI에서 설명 가능성, 해석 가능성, 공정성, 투명성의 개념을 체계적으로 검토하며, 이를 상호 구분한다.
• 후행적 방법(예: LIME, SHAP), 본질적으로 해석 가능한 모델(예: XGBoost, 결정 트리), 규칙 기반 시스템을 포함한 다양한 XAI 기법을 분석한다.
• 실제 임상 적용 이전에 XAI 방법의 신뢰성을 철저히 테스트하기 위해 알려진 생성 요인을 가진 합성 데이터셋을 사용할 것을 제안한다.
• 기능 순위 매기기와 고장 기반 내성 테스트에 적합한 AUROC 및 F1 점수와 같은 정량적 평가 지표를 통합한다.
• 다양한 XAI 기법을 조합하여 신뢰도를 높이고 편향을 줄이기 위해 다중 방법 기반 설명 가능성의 필요성을 강조한다.
• 투명성, 재현 가능성, 신뢰도 확보를 위해 오픈 액세스 및 코드 공유의 중요성을 주장한다.

Figure 1: Framework for literature review structure showing the key terms, methods, and modalities investigated under XAI for clinical risk prediction.

실험 결과

연구 질문

• RQ1 다양한 데이터 모달리티에서 임상 위험 예측에 대해 설명 가능 인공지능 방법이 신뢰성과 타당성에 대해 체계적으로 평가될 수 있는 방법은 무엇인가?
• RQ2 의료 기반 의사결정에서 해석 가능성, 공정성, 투명성, 신뢰도 간의 관계는 어떠한가?
• RQ3 알려진 기저 요인을 가진 합성 데이터셋을 사용하여 의료 분야의 XAI 방법을 검증할 수 있는 정도는 어느 정도인가?
• RQ4 임상의사와 환자가 설명 가능 인공지능 시스템 설계 및 평가에 의미 있게 참여할 수 있는 방법은 무엇인가?
• RQ5 규제 프레임워크와 오픈 사이언스 관행은 신뢰할 수 있고 재현 가능한 의료 분야 XAI 발전에 어떤 역할을 하는가?

주요 결과

• 모델 오류나 편향의 고위험 결과가 발생할 수 있으므로, 설명 가능 인공지능은 임상 위험 예측 모델에 대한 신뢰를 구축하는 데 필수적이다.
• 후행적 설명 방법만으로는 부족하며, 종합적인 모델 이해를 위해서는 다양한 해석 가능성 기법의 조합이 필요하다.
• 알려진 생성 요인을 가진 합성 데이터셋을 사용해 XAI 방법을 테스트하면 신뢰도와 검증 신뢰도가 크게 향상된다.
• 손상된 기능과 순위 매기기 지표(예: AUROC, F1)를 사용한 정량적 평가 프레임워크는 기능 중요도 설명을 평가하는 데 효과적이다.
• 오픈 액세스와 코드 공유가 XAI 연구의 재현 가능성과 장기적 신뢰도 확보에 필수적이다. 특히 민감한 분야인 의료 분야에서는 더욱 그렇다.
• 진전이 있음에도 불구하고, 임상 인공지능에서 설명 가능성에 대한 많은 주장은 과장되어 있으며, 철저한 검증과 이해관계자 참여 없이 실제 임상 적용은 여전히 제한되어 있다.

Figure 2: Frequency distribution of publications on XAI for clinical risk prediction since 2019 on PubMed database.