[논문 리뷰] Unbox the Black-box for the Medical Explainable AI via Multi-modal and Multi-centre Data Fusion: A Mini-Review, Two Showcases and Beyond

Guang Yang, Qinghao Ye외 1명|arXiv (Cornell University)|2021. 02. 03.

Explainable Artificial Intelligence (XAI)참고 문헌 169인용 수 15

한 줄 요약

이 논문은 의료 영상에서 설명 가능한 인공지능(XAI)을 향상시키기 위해 다중 모odal 및 다중 기관 데이터 융합 프레임워크를 제안한다. 이는 모델의 투명성과 임상적 신뢰도를 향상시킨다. 다양한 자료원—예를 들어 의료 영상, 임상 기록, 유전체 정보—를 통합함으로써 고도의 시각화 및 메타설명 기법을 통해 더 이해하기 쉬운, 인간이 이해할 수 있는 설명을 제공한다. 두 가지 실제 임상 응용 사례에서 검증되었으며, 모델의 정밀도와 사용자 이해도가 향상되었다.

ABSTRACT

Explainable Artificial Intelligence (XAI) is an emerging research topic of machine learning aimed at unboxing how AI systems' black-box choices are made. This research field inspects the measures and models involved in decision-making and seeks solutions to explain them explicitly. Many of the machine learning algorithms can not manifest how and why a decision has been cast. This is particularly true of the most popular deep neural network approaches currently in use. Consequently, our confidence in AI systems can be hindered by the lack of explainability in these black-box models. The XAI becomes more and more crucial for deep learning powered applications, especially for medical and healthcare studies, although in general these deep neural networks can return an arresting dividend in performance. The insufficient explainability and transparency in most existing AI systems can be one of the major reasons that successful implementation and integration of AI tools into routine clinical practice are uncommon. In this study, we first surveyed the current progress of XAI and in particular its advances in healthcare applications. We then introduced our solutions for XAI leveraging multi-modal and multi-centre data fusion, and subsequently validated in two showcases following real clinical scenarios. Comprehensive quantitative and qualitative analyses can prove the efficacy of our proposed XAI solutions, from which we can envisage successful applications in a broader range of clinical questions.

연구 동기 및 목표

• 의료 AI에서 사용되는 딥러닝 모델의 설명 부족 문제를 해결하여 임상 적용과 신뢰도 향상을 저해하는 요인을 제거한다.
• 의사 및 환자에게 부적절한 낮은 수준의 비직관적 설명(예: 히트맵)을 제공하는 현재의 XAI 기법의 한계를 극복한다.
• 의료 영상, 임상 기록, 유전체 정보 등 다양한 모달리티와 다수의 기관 데이터를 융합하여 고차원적이고 임상적으로 의미 있는 설명을 생성할 수 있는 통합 프레임워크를 개발한다.
• 실제 임상 환경에서의 적용 가능성을 입증하고, 보다 넓은 의료 워크플로우 통합을 지원하기 위해 제안된 XAI 접근법의 타당성과 효용성을 입증한다.
• 기술적 모델 설명 가능성과 인간 중심의 이해 간 격차를 메우기 위해, 임상의의 수용도 및 규제 준수를 향상시킨다.

제안 방법

• 다양한 임상 기관에서 수집한 의료 영상, 전자적 건강기록, 유전체 데이터 등 이질적인 자료원을 융합하기 위해 다중 모달리티 데이터 융합 기법을 활용한다.
• 비용이 많이 드는 완전한 레이블링 데이터셋에 의존도를 줄이기 위해 부분적으로 레이블링된 데이터나 간접적 지도 학습을 활용한 약한 지도 학습 기법을 적용한다.
• 초기 모델 수준의 설명을 생성하기 위해 설명 가능한 인공지능(XAI) 기법으로서 중요도 맵(saliency maps) 및 주의 메커니즘(attention mechanisms)을 적용한다.
• 저수준의 특징 중요도를 고차원적 해부학적·병리학적 개념으로 통합하는 메타설명 레이어를 도입한다.
• 다양한 모달리티 간 설명의 일관성과 임상적 관련성을 향상시키기 위해 정보 융합 전략을 활용하여 설명을 정렬하고 상관관계를 설정한다.
• 두 가지 실제 임상 시연 사례를 통해 프레임워크를 검증한다: (1) 질병 분류 및 (2) 의료 영상 세그멘테이션. 양적 지표와 정성적 전문가 평가를 모두 활용한다.

실험 결과

연구 질문

• RQ1 다중 모달리티 및 다중 기관 데이터 융합은 의료 영상에서의 AI 모델 결정의 해석 가능성과 임상적 관련성을 어떻게 향상시킬 수 있는가?
• RQ2 융합된 자료원에서 유도된 메타설명은 기존의 표준 XAI 기법에 비해 인간이 AI 결정을 이해하는 데 얼마나 더 효과적인가?
• RQ3 제안된 XAI 프레임워크는 복잡하고 이질적인 데이터를 포함한 실제 임상 환경에서 효과적으로 적용되고 검증될 수 있는가?
• RQ4 비영상 임상 데이터(예: EHR, 검사 결과)의 통합은 의료 진단에서 AI 설명의 강건성과 신뢰성에 어떻게 기여하는가?
• RQ5 기술적 모델 설명과 최종 사용자(예: 방사선과의, 임상의)의 인지적·임상적 요구사항을 일치시키는 데 있어 주요 과제는 무엇인가?

주요 결과

• 제안된 다중 모달리티 및 다중 기관 데이터 융합 프레임워크는 더 높은 임상적 의미를 지닌 설명을 생성함으로써 의료 영상에서 딥러닝 모델의 해석 가능성을 크게 향상시켰다.
• 융합된 자료원에서 유도된 메타설명은 저수준의 중요도 맵을 고차원적 해부학적·병리학적 개념으로 성공적으로 변환하여 인간의 이해도를 향상시켰다.
• 두 가지 임상 시연 사례에서 실시한 종합적인 양적·정성적 평가를 통해 XAI 솔루션의 효용성을 입증하였으며, 모델의 정밀도와 전문가의 임상적 추론과의 일치도 향상되었다.
• 비영상 임상 데이터(예: 전자적 건강기록, 검사 결과)의 통합은 모델의 강건성을 향상시키고 영상 중심 특징에 대한 과도한 의존도를 감소시켜 다양한 환자 집단에 대한 일반화 능력을 높였다.
• 모델의 결정 경로를 투명하고 감사 가능하며 추적 가능한 방식으로 제공함으로써, 주요 규제 기준(GDPR, FDA, CE, NMPA) 준수를 지원한다.
• 본 연구는 XAI 분야의 핵심 연구 격차를 규명한다: 인간 중심의 설명 설계가 필요하며, 향후 XAI 시스템은 인간-기계 상호작용과 임상 워크플로우 통합을 고려해 최적화되어야 한다.