[논문 리뷰] Outlining the Design Space of Explainable Intelligent Systems for Medical Diagnosis

Yao Xie, Ge Gao외 1명|arXiv (Cornell University)|2019. 02. 15.

Explainable Artificial Intelligence (XAI)참고 문헌 38인용 수 26

한 줄 요약

이 논문은 임상 데이터를 바탕으로 의사가 추론하는 방식을 반영하도록 설명을 모델링하여 의료 진단에서 설명 가능한 지능형 시스템을 위한 인간 중심 설계 프레임워크를 제안한다. 6명의 의료 전문가를 대상으로 한 인터뷰를 바탕으로, 진단 과정에서 의사가 다양한 데이터 유형을 어떻게 우선순위를 정하는지를 규명하였으며, 이는 기술적 투명성보다 임상적 추론 일치를 강조하는 설계 공간을 도출하여 의료 분야의 XAI에 실질적인 통찰을 제공한다.

ABSTRACT

The adoption of intelligent systems creates opportunities as well as challenges for medical work. On the positive side, intelligent systems have the potential to compute complex data from patients and generate automated diagnosis recommendations for doctors. However, medical professionals often perceive such systems as black boxes and, therefore, feel concerned about relying on system generated results to make decisions. In this paper, we contribute to the ongoing discussion of explainable artificial intelligence (XAI) by exploring the concept of explanation from a human-centered perspective. We hypothesize that medical professionals would perceive a system as explainable if the system was designed to think and act like doctors. We report a preliminary interview study that collected six medical professionals' reflection of how they interact with data for diagnosis and treatment purposes. Our data reveals when and how doctors prioritize among various types of data as a central part of their diagnosis process. Based on these findings, we outline future directions regarding the design of XAI systems in the medical context.

연구 동기 및 목표

• 의료 진단에서 AI 신뢰 문제를 해결하기 위해 의사가 임상 데이터를 어떻게 해석하고 우선순위를 정하는지 이해하는 것.
• 의료 결정의 인지 과정을 조사하여 설명 가능한 지능형 시스템 설계에 기여하는 것.
• 알고리즘 투명성에만 초점을 맞추지 않고 의사의 추론 패턴을 모방하는 XAI 시스템을 위한 설계 공간을 제안하는 것.
• 의사가 진단 과정에서 사용하는 핵심 데이터 유형과 우선순위 전략을 규명하여 시스템 설명 설계에 반영하는 것.
• 의료 전문가가 신뢰감을 느끼고 임상적으로 관련성이 있다고 느끼는 XAI 시스템의 향후 개발을 안내하는 것.

제안 방법

• 의료 전문가 6명을 대상으로 진단 추론 및 데이터 우선순위 정하기를 탐색하기 위한 반구조화된 인터뷰를 실시하였다.
• 인터뷰 녹취록을 분석하여 임상의가 다양한 데이터 유형(예: 검사 결과, 영상, 환자 병력 등)을 어떻게 평가하는지 반복되는 패턴을 규명하였다.
• 질적 주제 분석을 통해 시스템 설계에 기여할 수 있는 임상적 추론의 핵심 원칙을 도출하였다.
• 의사의 인지 워크플로우와의 일치를 기반으로 XAI 시스템을 위한 개념적 설계 공간을 제안하였다.
• 기술적 해석 가능성만을 고려하는 것이 아니라, '의사처럼 생각하고 행동하는 것'을 설명 설계의 핵심 원칙으로 강조하였다.
• 규명된 추론 패턴을 바탕으로 시스템 행동 예시를 매핑하였으며, 임상적 맥락에 따라 동적 설명 우선순위를 설정하는 것과 같은 기능을 제안하였다.

실험 결과

연구 질문

• RQ1 의사는 진단 과정에서 다양한 유형의 임상 데이터를 어떻게 우선순위를 정하는가?
• RQ2 복잡한 환자 데이터를 해석할 때 의사의 결정을 뒷받침하는 인지 과정은 무엇인가?
• RQ3 지능형 시스템을 어떻게 설계하여 의사의 추론 방식을 모방함으로써 신뢰도와 사용성을 향상시킬 수 있는가?
• RQ4 실제 진단 워크플로우에서 임상의에게 가장 의미 있는 설명 형태는 무엇인가?
• RQ5 XAI 시스템은 어떻게 구성되어야 하며, 의료 결정의 동적이고 맥락 민감한 성격을 반영할 수 있는가?

주요 결과

• 의사는 환자 병력과 증상이 검사 결과나 영상보다 우선시되는 임상적 맥락에 따라 데이터를 우선순위를 정한다.
• 결정 과정은 매우 반복적이고 맥락 민감하며, 다양한 데이터 유형을 지속적으로 재평가하는 방식이다.
• 의사 자신의 추론 과정을 반영할 때 설명이 가장 신뢰감을 준다. 단지 알고리즘의 투명성만으로는 부족하다.
• 임상의는 기술적 모델 출력보다 진단의 다양한 가능성에 대한 추론 경로(예: 감별진단 추론)를 반영하는 설명을 선호한다.
• 일률적이거나 정적인 설명보다는 임상적 맥락에 맞게 동적으로 적응하는 설명을 강하게 선호한다.
• 본 연구는 의료 분야에서 '설명 가능성'이 모델의 해석 가능성에만 국한되지 않고, 임상적 인지와의 일치성에 있다는 점을 드러냈다.