[논문 리뷰] Why Don't You Do Something About It? Outlining Connections between AI Explanations and User Actions

Gennie Mansi, Mark Riedl|arXiv (Cornell University)|2023. 05. 10.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 설명 가능한 인공지능(XAI) 설명과 실질적인 사용자 행동 간의 프레임워크를 제안하며, 설명 내 10개의 정보 유형과 그에 해당하는 사용자 행동을 규명한다. 정보 유형을 구체적인 행동으로 연결함으로써, 연구는 XAI 평가를 기술적 지표에 국한하지 않고 실제 사용자 주도성으로 재편한다. 이는 사회기술적 시스템에서 설명 내용과 실질적 사용자 행동 간의 격차를 메우는 데 기여한다.

ABSTRACT

A core assumption of explainable AI systems is that explanations change what users know, thereby enabling them to act within their complex socio-technical environments. Despite the centrality of action, explanations are often organized and evaluated based on technical aspects. Prior work varies widely in the connections it traces between information provided in explanations and resulting user actions. An important first step in centering action in evaluations is understanding what the XAI community collectively recognizes as the range of information that explanations can present and what actions are associated with them. In this paper, we present our framework, which maps prior work on information presented in explanations and user action, and we discuss the gaps we uncovered about the information presented to users.

연구 동기 및 목표

• XAI 설명에 포함되어야 할 정보의 범위와 그 정보가 사용자 행동과 어떻게 연결되는지에 대한 합의가 부족한 문제를 해결하기 위해.
• 기술적 지표에 국한되지 않고 사용자 행동 중심으로 XAI 시스템 평가를 재편하기 위해.
• 사용자가 의미 있는 행동을 취할 수 있도록 하는 설명 내 정보 유형을 규명하고 분류하기 위해.
• 설명 내용과 실행 가능한 결과를 연결하는 체계적이고 근거 기반의 프레임워크를 제공하기 위해.
• 사용자 주도성과 사회기술적 맥락을 고려하여 설명 내용을 사용자 중심 설계에 맞추기 위해.

제안 방법

• 저자들은 XAI에 관한 30篇의 종합적 문헌 리뷰를 수행하였으며, 설명 내용과 사용자 행동에 중점을 둔 11편의 논문을 선별하였다.
• 기존 연구에서 유도된 정보 유형을 통합하였으며, 특히 ICO 및 터닝 연구소의 분류 체계를 기반으로 하여 10개의 주제적 유형으로 반복적으로 정제하였다.
• 각 정보 유형에 대해 설명에서 논리적으로 이어질 수 있는 구체적인 사용자 행동을 명시적으로 규명하고 목록화하였다.
• 반복적인 분류와 재정의를 통해 주제의 일관성과 사용자 행동 목표와의 일치성을 확보함으로써 프레임워크를 개발하였다.
• 최종적으로 프레임워크는 설명 정보를 세 가지 군집으로 정리한다: 모델 노출(모델이 결정을 어떻게 내리는지), 모델 책임성(누가 만들었고 왜 만들었는지), 모델 맥락(사용자 맥락과 외부 시스템에 어떻게 통합되는지).
• 이 프레임워크는 설계자와 평가자들이 설명 내용을 실행 가능한 결과와 일치시키는 데 도움이 되는 시각적 매핑 도구로 제시된다.

실험 결과

연구 질문

• RQ1 XAI 설명은 일반적으로 어떤 종류의 정보를 제공하며, 사용자 행동과 어떻게 관련되어 있는가?
• RQ2 설명 내용과 사용자 주도성 간의 연결에 관해 현재 문헌에서 가장 큰 격차는 무엇인가?
• RQ3 실제 사회기술적 시스템에서 실행 가능한 사용자 반응을 지원하기 위해 설명 내용을 체계적으로 분류할 수 있는 방법은 무엇인가?
• RQ4 설명이 유의미한 사용자 행동을 가능하게 해야 할 가장 중요한 행동은 무엇이며, 특정 정보 유형과 어떻게 연결될 수 있는가?
• RQ5 XAI 평가가 기술적 지표에서 실행 가능성으로의 핵심 기준으로 전환될 수 있는 방법은 무엇인가?

주요 결과

• 연구는 설명이 전달할 수 있는 10개의 고유한 정보 유형을 규명하였으며, 이는 세 가지 군집으로 분류된다: 모델 노출, 모델 책임성, 모델 맥락.
• 각 정보 유형에 대해 사용자가 논리적으로 취할 수 있는 실행 가능한 반응을 명시적으로 목록화하였으며, 예를 들어 입력 데이터 수정, 다른 결정 요청, 모델 결과 도전 등이 포함된다.
• 분석 결과, 문헌에서 상당한 격차가 드러났다: 많은 논문들이 설명 유형을 기술하지만, 거의 대부분이 설명 유형과 사용자 행동 또는 실행 가능성 간의 연결을 명시하지 않는다.
• 프레임워크는 설명이 종종 기술적 정확성이나 해석 가능성에 기반해 평가되지만, 실제 사용자 개입 능력에 초점을 맞추지 않는다는 점을 입증한다.
• 연구는 설명 내용을 사용자 행동과 일치시킴으로써 인간-AI 상호작용에서 신뢰, 투명성, 그리고 인식된 주도성을 향상시킬 수 있음을 보여준다.
• 이 프레임워크는 사용자 기반 의사결정 및 시스템 수준의 개입을 지원하는 능력을 기반으로 한 XAI 시스템 평가를 위한 체계적이고 재사용 가능한 기반을 제공한다.