[논문 리뷰] Designer-User Communication for XAI: An epistemological approach to discuss XAI design

Juliana Jansen Ferreira, Mateus de Souza Monteiro|arXiv (Cornell University)|2021. 05. 17.

Big Data and Business Intelligence인용 수 4

한 줄 요약

이 논문은 설명 가능한 인공지능(XAI) 설계에서 초기 단계의 AI 설계자, 개발자, 최종 사용자 간의 소통을 운영화하기 위해 Signifying Message 개념을 활용한 인지론적 프레임워크를 제안한다. 의료 분야의 AI 사례 연구에 이 도구를 적용함으로써, 설명에 대한 공유된 이해가 어떻게 공동으로 구성될 수 있는지 보여주며, 이해관계자 간의 일치를 높이고 초기 단계부터 더 인간 중심적인 XAI 개발을 가능하게 한다.

ABSTRACT

Artificial Intelligence is becoming part of any technology we use nowadays. If the AI informs people's decisions, the explanation about AI's outcomes, results, and behavior becomes a necessary capability. However, the discussion of XAI features with various stakeholders is not a trivial task. Most of the available frameworks and methods for XAI focus on data scientists and ML developers as users. Our research is about XAI for end-users of AI systems. We argue that we need to discuss XAI early in the AI-system design process and with all stakeholders. In this work, we aimed at investigating how to operationalize the discussion about XAI scenarios and opportunities among designers and developers of AI and its end-users. We took the Signifying Message as our conceptual tool to structure and discuss XAI scenarios. We experiment with its use for the discussion of a healthcare AI-System.

연구 동기 및 목표

• 데이터 과학자 외의 최종 사용자를 포함한 이해관계자 중심의 XAI 설계 격차를 해소하기 위해.
• 초기 AI 시스템 개발 단계에서 설계자, 개발자, 최종 사용자 간의 XAI 시나리오에 대한 논의를 운영화하기 위해.
• XAI 설명 설계에서 인지론적 일치를 지원하는 개념적 프레임워크를 제안하기 위해.
• 의료 분야의 AI 시스템 맥락에서 실제 적용을 통해 프레임워크를 검증하기 위해.

제안 방법

• Signifying Message 프레임워크는 다양한 이해관계자 간 AI 설명에 대한 소통를 체계화하는 개념적 도구로 사용된다.
• 이 방법은 설계자, 개발자, 최종 사용자가 공동으로 AI 출력물의 의미를 해석하고 표현하는 공디자인 세션을 포함한다.
• 프레임워크는 지식이 어떻게 구성되고 공유되는지에 초점을 맞춘 인지론적 차원을 강조한다.
• 실제 XAI 설계 시나리오에 적용 가능한 Signifying Messages의 적용을 보여주기 위해 의료 AI 시스템을 사례 연구로 활용하였다.
• 반복적이고 대화 기반의 설계 과정을 지원하기 위해 인간-컴퓨터 상호작용(HCI)과 AI 설명 가능성의 통찰을 통합한다.
• 이 과정을 통해 이해관계자들은 맥락적 및 영역 특화된 필요 조건에 기반하여 무엇이 '만족스러운' 설명이 되는지 논의하고 합의할 수 있다.

실험 결과

연구 질문

• RQ1 설계자와 최종 사용자가 초기 개발 단계에서 공동으로 AI 설명의 형태와 내용을 어떻게 논의하고 형성할 수 있는가?
• RQ2 다양한 이해관계자 간의 XAI 설계에서 인지론적 일치를 지원할 수 있는 개념적 도구는 무엇인가?
• RQ3 Signifying Message 프레임워크는 의료 맥락에서 AI 설명에 대한 소통를 어떻게 촉진하는가?
• RQ4 최초 단계에서 최종 사용자를 참여시킴으로써 XAI 기능의 관련성과 사용성은 어떻게 향상되는가?
• RQ5 공동으로 설명 수요를 정의하기 위해 Signifying Messages를 사용할 때의 실질적 도전 과제와 기회는 무엇인가?

주요 결과

• Signifying Message 프레임워크는 의료 AI 맥락에서 설계자, 개발자, 최종 사용자 간의 체계적이고 인지론적으로 기초화된 대화를 성공적으로 가능하게 하였다.
• 이해관계자들은 특정 임상 맥락 내에서 AI 출력물의 상징성에 초점을 맞추어 의미 있는 설명이 무엇인지 공동으로 정의할 수 있었다.
• 이 방법은 최종 사용자가 설명을 이해하는 방식이 그들의 영역 지식과 의사결정 필요 조건과 깊이 연결되어 있음을 드러냈다.
• 설계자와 개발자는 이전에 기술적 XAI 접근 방식에서 간과되었던 실용적이고 윤리적인 설명 차원에 대한 새로운 통찰을 확보하였다.
• 프레임워크는 기술적 분석만으로는 드러나지 않는 맥락 기반의 설명 요구사항을 식별하는 데 기여하였다.
• 이 연구는 초기 단계에서 포괄적인 설명에 대한 소통가 시스템의 사용성과 신뢰성 향상에 기여함을 입증하였다.