[논문 리뷰] The Who in XAI: How AI Background Shapes Perceptions of AI Explanations

Upol Ehsan, Samir Passi외 5명|arXiv (Cornell University)|2021. 07. 28.

Explainable Artificial Intelligence (XAI)인용 수 29

한 줄 요약

이 연구는 AI-nerd와 비-AI 참가자가 세 가지 유형의 AI 설명을 어떻게 인식하는지 비교하여 그룹별 신뢰, 해석, 그리고 humanlike-ness 차이를 밝히고 설계 시사점을 제시한다.

ABSTRACT

Explainability of AI systems is critical for users to take informed actions. Understanding "who" opens the black-box of AI is just as important as opening it. We conduct a mixed-methods study of how two different groups--people with and without AI background--perceive different types of AI explanations. Quantitatively, we share user perceptions along five dimensions. Qualitatively, we describe how AI background can influence interpretations, elucidating the differences through lenses of appropriation and cognitive heuristics. We find that (1) both groups showed unwarranted faith in numbers for different reasons and (2) each group found value in different explanations beyond their intended design. Carrying critical implications for the field of XAI, our findings showcase how AI generated explanations can have negative consequences despite best intentions and how that could lead to harmful manipulation of trust. We propose design interventions to mitigate them.

연구 동기 및 목표

• 다섯 가지 인식 차원에 걸쳐 세 가지 AI 설명 유형에 대한 사용자 선호를 정량화한다.
• AI 배경이 설명의 해석과 의미 구성에 어떻게 영향을 미치는지 질적으로 검토한다.
• 휴리스틱과 appropri-ation을 분석 렌즈로 사용하여 집단 간 차이가 왜 발생하는지 설명한다.
• 잠재적 부정적 결과(예: 과신)를 식별하고 설계 개입을 제안한다.
• 창작자-소비자 간 격차를 강조하여 XAI에서 다원적이고 인간 중심의 담론을 발전시킨다.

제안 방법

• 두 그룹(AI 배경 vs. 비-AI 배경)을 대상으로 한 피험자 내 설계를 이용한 실험을 수행한다.
• 참여자들에게 서로 다른 설명 방식을 제시하는 세 개의 AI 에이전트를 노출한다: 합리성 생성(rationale generation, RG), 행동 선언(action-declaring, AD), 그리고 수치적 추론(numerical-reasoning, NR).
• 순차 탐색 작업에서 강화 학습(tabular Q-learning) 에이전트를 사용한다.
• 이해 용이성, 자신감, 지능성, 친근감, 그리고 재시도 가능성의 다섯 가지 차원으로 인식을 측정한다.
• 그룹 차이를 해석하기 위해 개방형 응답에 대한 질적 분석을 정량적 데이터와 보완한다.
• 해석을 휴리스틱과 appropriation의 이론적 렌즈에 기초한다.

실험 결과

연구 질문

• RQ1 RQ1: 정량적으로, 다양한 설명 유형이 AI 배경이 있는 사람과 없는 사람이 AI 에이전트를 인식하는 방식에 어떤 영향을 미치는가?
• RQ2 RQ2: 질적으로, AI 배경 차이가 왜 그리고 어떻게 설명에 대한 서로 다른 인식을 초래하는가?

주요 결과

• 두 그룹 모두 수치 표현에 대한 근거 없는 신뢰를 보였으나 그 이유와 정도가 서로 달랐다.
• 각 그룹은 설명의 의도된 용도 이상으로 설명적 가치를 부여했으며, 이는 해석 목표의 차이를 시사한다.
• 사람같은 특성을 인식하더라도, 어떤 것이 사람같은 설명에 해당하는지와 왜 설득력을 느끼는지에 대해 그룹 간 차이가 있다.
• 본 연구 결과는 XAI 시스템에서 사용자 신뢰의 조작 가능성, 과신 등의 위험을 강조한다.
• 연구는 이러한 위험을 완화하기 위한 설계 개입을 논의하고 XAI 설계에 다원적이고 인간 중심적인 접근을 강조한다.