[논문 리뷰] Explainable AI, but explainable to whom?

Julie Gerlings, Millie Søndergaard Jensen외 1명|arXiv (Cornell University)|2021. 06. 10.

Explainable Artificial Intelligence (XAI)참고 문헌 79인용 수 5

한 줄 요약

이 논문은 의료 분야의 설명 가능 인공지능(xAI)에서 이해관계자별 설명 수요를 조사하며, 중환자실(ICU) 분류 시스템을 대상으로 한다. 개발자, 임상의, 의사결정자, 환자 각각이 서로 다른 설명 수요를 가짐을 드러내며, xAI가 단일 '사용자'를 위한 것으로 간주되는 것에 도전한다. 이는 신뢰도 향상과 구현을 위해 다양한 이해관계자에게 맞춤형 설명을 제공할 수 있는 프레임워크를 제안한다.

ABSTRACT

Advances in AI technologies have resulted in superior levels of AI-based model performance. However, this has also led to a greater degree of model complexity, resulting in 'black box' models. In response to the AI black box problem, the field of explainable AI (xAI) has emerged with the aim of providing explanations catered to human understanding, trust, and transparency. Yet, we still have a limited understanding of how xAI addresses the need for explainable AI in the context of healthcare. Our research explores the differing explanation needs amongst stakeholders during the development of an AI-system for classifying COVID-19 patients for the ICU. We demonstrate that there is a constellation of stakeholders who have different explanation needs, not just the 'user'. Further, the findings demonstrate how the need for xAI emerges through concerns associated with specific stakeholder groups i.e., the development team, subject matter experts, decision makers, and the audience. Our findings contribute to the expansion of xAI by highlighting that different stakeholders have different explanation needs. From a practical perspective, the study provides insights on how AI systems can be adjusted to support different stakeholders needs, ensuring better implementation and operation in a healthcare context.

연구 동기 및 목표

• 의료 AI 시스템의 다양한 이해관계자가 설명을 어떻게 인식하고 요구하는지 이해하기 위해.
• AI 개발 및 구현 과정에서 다양한 이해관계자 그룹의 구체적 설명 수요를 특정하기 위해.
• xAI 설명이 종종 최종 사용자 또는 임상의 전용으로 보편적으로 설계된다는 가정에 도전하기 위해.
• 중환자실 산통 분류를 위한 AI 시스템 개발 과정에서 이해관계자별 고유의 우려에서 비롯된 설명 수요가 어떻게 발생하는지 분석하기 위해.
• 임상 환경에서 다양한 이해관계자를 지원하는 xAI 시스템을 설계하기 위한 실용적 통찰을 제공하기 위해.

제안 방법

• 코로나19 환자에 대한 중환자실 입원 분류를 위한 AI 시스템 개발에 관여한 이해관계자를 대상으로 정성적 연구를 수행하였다.
• 개발 팀, 전문 분야 전문가, 의사결정자, 최종 사용자/대중의 네 그룹으로 이해관계자를 식별하고 분류하였다.
• 시스템 개발 기간 동안 인터뷰와 맥락 기반 조사를 통해 이해관계자의 우려와 설명 수요를 분석하였다.
• 모델 신뢰성, 임상 유효성, 운영 가능성, 윤리적 책임성 등의 특정 문제에 설명 수요를 연결하였다.
• 주제 분석을 통해 이해관계자 역할 간 설명 요구 패턴을 추출하였다.
• 역할과 우려에 기반하여 다양한 이해관계자 그룹에 맞춤형 xAI 설명을 설계할 수 있는 프레임워크를 제안하였다.

실험 결과

연구 질문

• RQ1 최종 사용자 외에 의료 AI 시스템에서 설명이 필요한 주요 이해관계자는 누구인가?
• RQ2 AI 개발 과정에서 다양한 이해관계자 그룹의 설명 수요를 이끄는 구체적 우려는 무엇인가?
• RQ3 임상 환경에서 개발자, 임상의, 병원 관리자, 환자 간 설명 수요는 어떻게 다를까?
• RQ4 이해관계자별 고유의 우려가 설명 가능 인공지능의 설계 및 구현에 어떻게 영향을 미치는가?
• RQ5 실제 의료 현장에서 다수의 이해관계자를 효과적으로 지원하기 위해 xAI는 어떻게 적응시켜야 하는가?

주요 결과

• 개발 팀, 임상의, 의사결정자, 환자 등 다양한 이해관계자들은 맥락에 따라 구체적인 설명 수요를 가진다.
• 설명 수요는 단일 사용자 그룹에서 비롯되지 않고, AI 시스템 개발 및 구현에 관여하는 다수의 역할에서 기인한다.
• 개발 팀은 모델 검증 및 디버깅을 위한 기술적 설명이 필요하며, 임상의는 진단 신뢰를 확보하기 위한 임상 해석 가능성이 필요하다.
• 의사결정자는 시스템의 운영 가능성과 리스크 기반 설명이 필요하여 시스템의 타당성과 규제 준수 여부를 평가한다.
• 환자 및 일반 대중은 윤리적 투명성 중심의 설명이 필요하여 AI 기반 의료 결정에 대한 신뢰를 쌓는다.
• 본 연구는 일률적인 설명 접근 방식이 이해관계자들의 다양한 수요를 충족시키지 못하며, 역할 기반의 xAI 설계가 필수적임을 입증한다.