[논문 리뷰] Invisible Users: Uncovering End-Users' Requirements for Explainable AI via Explanation Forms and Goals

Weina Jin, Jianyu Fan외 3명|arXiv (Cornell University)|2023. 02. 10.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 설명 가능 인공지능(XAI)을 위한 비기술적 최종 사용자의 요구를 밝혀내기 위해 사용자 우호적인 설명 양식과 설명 목표를 프레임워크로 제안한다. 4개의 고위험 과제에서 32명의 일반 참가자들을 대상으로 한 혼합 방법론 사용자 연구를 통해 기능 기반, 예시 기반, 규칙 기반 설명에 대한 구체적인 사용자 요구를 파악하고, 신뢰 조정, 편향 탐지 등 10개의 핵심 설명 목표를 도출하였다. 이는 사용자 중심의 XAI 기술 설계 및 평가에 직접적인 영향을 미칠 수 있음을 보여준다.

ABSTRACT

Non-technical end-users are silent and invisible users of the state-of-the-art explainable artificial intelligence (XAI) technologies. Their demands and requirements for AI explainability are not incorporated into the design and evaluation of XAI techniques, which are developed to explain the rationales of AI decisions to end-users and assist their critical decisions. This makes XAI techniques ineffective or even harmful in high-stakes applications, such as healthcare, criminal justice, finance, and autonomous driving systems. To systematically understand end-users' requirements to support the technical development of XAI, we conducted the EUCA user study with 32 layperson participants in four AI-assisted critical tasks. The study identified comprehensive user requirements for feature-, example-, and rule-based XAI techniques (manifested by the end-user-friendly explanation forms) and XAI evaluation objectives (manifested by the explanation goals), which were shown to be helpful to directly inspire the proposal of new XAI algorithms and evaluation metrics. The EUCA study findings, the identified explanation forms and goals for technical specification, and the EUCA study dataset support the design and evaluation of end-user-centered XAI techniques for accessible, safe, and accountable AI.

연구 동기 및 목표

• 비기술적 최종 사용자, 즉 XAI 개발 과정에서 자주 간과되는 대상의 요구를 이해하는 데에 미흡한 점을 보완하기 위해.
• XAI 시스템과 최종 사용자 간의 기술적 소통 장벽을 해소하기 위해 사용자 우호적인 설명 양식을 다리로 삼아 제안하기 위해.
• 고위험 의사결정 환경에서 최종 사용자가 AI 설명을 요청하게 되는 다양한 설명 목표를 특정하고 분류하기 위해.
• 최종 사용자 요구를 기술적 사양 및 평가 지표와 연결하여 XAI 개발자에게 실질적인 통찰을 제공하기 위해.
• 실증적 사용자 연구 데이터를 바탕으로 사용자 중심 설계를 통해 접근 가능하고 안전하며 책임감 있는 AI 시스템을 구축하는 데 기여하기 위해.

제안 방법

• 기능 기반, 예시 기반, 규칙 기반으로 분류된 사용자 중심의 XAI 기술 표현으로서의 '사용자 우호적인 설명 양식'을 제안하였다.
• 의료 진단, 형사 사법, 대출 승인, 자율 주행 등 4개의 AI 보조 핵심 과제를 수행한 32명의 일반 참가자를 대상으로 혼합 방법론 사용자 연구(EUCA)를 설계하였다.
• 사용자 친화성, 신뢰도, 의사결정 지원 기능에 중점을 두고 시나리오 기반 과제를 통해 설명 양식과 목표에 대한 정성적 피드백을 수집하였다.
• 사용자 요구를 이끄는 10개의 핵심 설명 목표를 도출하였으며, 이 중에는 신뢰 조정, 편향 탐지, 이해관계자 간 소통 등이 포함되었다.
• 연구 결과를 바탕으로 최종 사용자 요구와 일치하는 새로운 XAI 알고리즘의 기술 사양과 평가 지표를 제작하였다.
• 재현 가능성을 높이고 향후 사용자 중심 XAI 연구를 지원하기 위해 EUCA 연구 데이터셋과 자료를 공개하였다.

실험 결과

연구 질문

• RQ1 비기술적 최종 사용자가 고위험 AI 보조 과제에서 어떤 종류의 설명 양식(기능 기반, 예시 기반, 규칙 기반)을 가장 유용하고 이해하기 쉽게 느끼는가?
• RQ2 사용자가 AI 설명을 요청하게 되는 주요 설명 목표는 무엇이며, 이 목표들은 다양한 적용 분야에서 어떻게 다를까?
• RQ3 사용자가 의사결정을 내릴 때 다양한 설명 양식을 어떻게 비교하고 대조하는가? 그리고 선호도에 影향을 미치는 요소는 무엇인가?
• RQ4 기존의 XAI 기술들이 실제로 사용자의 요구를 얼마나 충족하는가? 어떤 점에서 부족한가?
• RQ5 비기술적 최종 사용자의 XAI 요구를 어떻게 체계적으로 새로운 XAI 알고리즘 및 평가 지표의 기술 사양으로 번역할 수 있는가?

주요 결과

• 의료 및 금융 의사결정 과제에서 사용자들은 명확성과 신뢰 조정 측면에서 기능 기반 설명(예: 기여도 기반)보다 예시 기반 설명(예: 유사한, 반사적, 일반적인 예시)을 일관되게 선호하였다.
• 가장 자주 언급된 설명 목표는 '신뢰 조정'이었으며, 사용자들은 AI의 결정이 자신의 판단이나 전문 지식과 일치하는지 확인하기 위해 설명을 요청했다.
• 특히 형사 사법 및 의료 분야와 같은 고위험 분야에서 모델 편향을 탐지할 수 있는 설명에 강한 수요를 보였다.
• 사용자들은 기능 기반 설명(예: 강조도 맵)을 이해하기 어려워하고 기술적 복잡성이 높아 혼란스럽거나 신뢰를 잃는 경우가 많았다.
• 연구 결과, 사용자와 AI 간의 의견 불일치를 해소하거나 예측 결과를 향상시키는 것과 같은 설명 목표가 사용자 참여도와 의사결정 자신감에 매우 중요한 역할을 한다는 점이 드러났다.
• EUCA 데이터셋과 연구 결과는 최종 사용자 요구에 맞춘 새로운 XAI 평가 지표 및 알고리즘 개발의 기초를 제공하며, 안전 기반 시스템의 실제 구현에 직접적인 영향을 미친다.