[논문 리뷰] Towards Reconciling Usability and Usefulness of Explainable AI Methodologies

Pradyumna Tambwekar, Matthew Gombolay|arXiv (Cornell University)|2023. 01. 13.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 연구는 고속도로 시뮬레이션 환경에서 자율주행차의 결정을 설명하기 위해 의사결정나무, 텍스트, 프로그램, 주의 맵이라는 네 가지 XAI 모달리티를 평가한다. 연구 결과, 사용자가 주관적으로는 텍스트 설명을 더 선호함에도 불구하고, 의사결정나무가 객관적으로 차량 행동 예측에 더 효과적인 것으로 드러나, 개인화된 XAI 설계 시 인식된 사용성과 실제 유용성 간의 균형이 필요하다는 점을 밝혀낸다.

ABSTRACT

Interactive Artificial Intelligence (AI) agents are becoming increasingly prevalent in society. However, application of such systems without understanding them can be problematic. Black-box AI systems can lead to liability and accountability issues when they produce an incorrect decision. Explainable AI (XAI) seeks to bridge the knowledge gap, between developers and end-users, by offering insights into how an AI algorithm functions. Many modern algorithms focus on making the AI model "transparent", i.e. unveil the inherent functionality of the agent in a simpler format. However, these approaches do not cater to end-users of these systems, as users may not possess the requisite knowledge to understand these explanations in a reasonable amount of time. Therefore, to be able to develop suitable XAI methods, we need to understand the factors which influence subjective perception and objective usability. In this paper, we present a novel user-study which studies four differing XAI modalities commonly employed in prior work for explaining AI behavior, i.e. Decision Trees, Text, Programs. We study these XAI modalities in the context of explaining the actions of a self-driving car on a highway, as driving is an easily understandable real-world task and self-driving cars is a keen area of interest within the AI community. Our findings highlight internal consistency issues wherein participants perceived language explanations to be significantly more usable, however participants were better able to objectively understand the decision making process of the car through a decision tree explanation. Our work also provides further evidence of importance of integrating user-specific and situational criteria into the design of XAI systems. Our findings show that factors such as computer science experience, and watching the car succeed or fail can impact the perception and usefulness of the explanation.

연구 동기 및 목표

• 자율 시스템에서 AI 결정에 대한 사용자의 인식과 객관적 이해에 영향을 미치는 다양한 XAI 모달리티의 영향을 조사하는 것.
• 컴퓨터 과학 경험과 같은 사용자 특성 및 상황적 맥락(예: 차량의 성공 또는 실패 관찰)이 XAI 선호도와 효과성에 미치는 영향을 분석하는 것.
• XAI 설명에서 인식된 사용성과 실제 유용성 간의 괴리(이격)를 규명하는 것.
• 사용자의 인지적 및 맥락적 프로필에 맞춰 적응하는 개인화된 XAI 시스템 설계를 안내하는 것.

제안 방법

• 자율주행차 시뮬레이션 환경을 사용해 참가자 231명을 대상으로 대규모 사용자 연구를 수행하여 의사결정나무, 자연어 텍스트, 실행 가능한 프로그램, 주의 맵이라는 네 가지 XAI 모달리티를 평가하였다.
• 앞선 시뮬레이션 프로토콜을 적용하여 참가자가 설명을 본 후 차량 행동을 예측하도록 함으로써 이해도를 객관적으로 측정하였다.
• 설문 조사로 주관적 사용성 평가를 수집하여 각 모달리티의 도움됨 정도와 신뢰도를 평가하였다.
• 인구통계적 요인(예: 컴퓨터 과학 배경)과 상황적 요인(예: 차량의 성공 또는 사고 관찰)이 설명 인식과 성과에 미치는 영향을 분석하였다.
• 정량적 예측 정확도와 정성적 피드백을 융합한 혼합 방법 분석을 통해 설명 품질을 평가하였다.
• 사용자 성향과 맥락에 따라 설명을 적응적으로 선택하는 향후 개인화된 XAI 시스템을 위한 프레임워크를 제안하였다.

실험 결과

연구 질문

• RQ1 의사결정나무, 텍스트, 프로그램, 주의 맵이라는 다양한 XAI 모달리티는 AI 결정에 대한 인식된 사용성과 객관적 이해도 측면에서 어떻게 비교될 수 있는가?
• RQ2 컴퓨터 과학 경험과 같은 개인적 요인이 사용자가 XAI 설명을 인식하고 성과를 내는 데에 어떤 영향을 미치는가?
• RQ3 특히 자율주행차가 성공하거나 실패하는 상황을 관찰함으로써 사용자의 신뢰도와 XAI 설명 평가에 어떤 영향을 미치는가?
• RQ4 인식된 사용성과 실제 유용성 간의 괴리 정도는 어느 정도인가?
• RQ5 사용자 특성과 맥락에 따라 가장 적합한 설명 모달리티를 동적으로 선택할 수 있는 개인화된 XAI 시스템을 설계할 수 있는가?

주요 결과

• 텍스트 기반 설명은 다른 모달리티보다 인식된 사용성이 유의미하게 높았으며, 참가자들이 주관적 사용성 설문에서 더 높은 평가를 내렸다.
• 높은 인식된 사용성에도 불구하고, 텍스트 기반 설명은 의사결정나무보다 차량 행동 예측 정확도가 낮아 객관적 정확도가 떨어졌다.
• 의사결정나무는 객관적 이해도가 가장 높았으며, 참가자들이 텍스트나 프로그램 기반 설명보다 유의미하게 높은 예측 정확도를 달성했다.
• 컴퓨터 과학 경험 수준이 높은 참가자들은 텍스트 기반 설명에 대한 선호도가 감소하는 경향을 보였으며, 이는 기존 지식이 모달리티 선호도에 영향을 줄 수 있음을 시사한다.
• 차량 사고(실패)를 관찰한 참가자들은 XAI 에이전트에 대한 태도가 유의미하게 악화되었으며, 특히 텍스트 기반 설명에 대해 신뢰도가 감소했다.
• 연구는 근본적인 모순을 드러냈다: 인식된 사용성(주관적)과 실제 유용성(객관적)이 일치하지 않으며, 텍스트는 선호되지만 정확한 예측에는 덜 효과적이다.