[논문 리뷰] EUCA: A Practical Prototyping Framework towards End-User-Centered Explainable Artificial Intelligence.

Weina Jin, Jianyu Fan외 3명|arXiv (Cornell University)|2021. 02. 04.

Explainable Artificial Intelligence (XAI)참고 문헌 76인용 수 10

한 줄 요약

이 논문은 32명의 일반 사용자와의 공동 설계를 통해 검증된 12가지 사용자 友好的 설명 양식—예를 들어, 특성 기반, 예시 기반, 규칙 기반 설명 등—을 바탕으로 종합적인 프로토타이핑 프레임워크 EUCA를 제안한다. 이는 비기술적 종료자 중심의 설명 가능한 인공지능(XAI)을 위한 실용적인 접근법으로, 핵심 의사결정 환경에서 직관적이고 비기술적인 설명을 구축하는 데 도움을 주는 툴킷을 제공한다.

ABSTRACT

The ability to explain decisions to its end-users is a necessity to deploy AI as critical decision support. Yet making AI explainable to end-users is a relatively ignored and challenging problem. To bridge the gap, we first identified twelve end-user-friendly explanatory forms that do not require technical knowledge to comprehend, including feature-, example-, and rule-based explanations. We then instantiated the explanatory forms as prototyping cards in four AI-assisted critical decision-making tasks, and conducted a user study to co-design low-fidelity prototypes with 32 layperson participants. The results verified the relevance of using the explanatory forms as building blocks of explanations, and identified their proprieties (pros, cons, applicable explainability needs, and design implications). The explanatory forms, their proprieties, and prototyping support constitute the End-User-Centered explainable AI framework EUCA. It serves as a practical prototyping toolkit for HCI/AI practitioners and researchers to build end-user-centered explainable AI. The EUCA framework is available at this http URL

연구 동기 및 목표

• 비기술적 종료자가 핵심 의사결정 환경에서 이해할 수 있는 AI 설명을 설계하는 데 있어 발생하는 격차를 해소한다.
• 기술적 전문 지식 없이도 이해할 수 있는 설명 방식을 특정하고 검증한다.
• 일반 사용자와의 공동 설계를 통해 저해상도 프로토타입을 개발하여 실제 적용 가능성과 사용성 확보.
• HCI 및 AI 전문가들이 사용자 중심의 AI 설명을 구축하는 데 안내하는 체계적인 프레임워크(EUCA)를 개발한다.

제안 방법

• 인지 및 사용성 원칙을 바탕으로 특성 기반, 예시 기반, 규칙 기반 등 총 12가지 종료자 우월한 설명 방식을 식별한다.
• 각 설명 방식을 나타내는 프로토타이핑 카드를 제작하여 네 가지 AI 보조 의사결정 과제에 활용한다.
• 32명의 일반 사용자 참가자를 대상으로 공동 설계 연구를 수행하여 설명 방식의 유효성과 사용성 평가 및 개선.
• 사용자 피드백을 분석하여 각 설명 방식의 장점, 단점, 적용 가능한 설명 필요성 및 디자인 함의를 도출한다.
• 연구 결과를 통합하여 설명 방식, 그 성질, 프로토타이핑 지원 기능을 포함하는 통합 프레임워크(EUCA)를 구성한다.
• HCI 및 AI 연구자 및 전문가들이 실용적으로 활용할 수 있도록 EUCA 프레임워크를 툴킷 형태로 공개한다.

실험 결과

연구 질문

• RQ1 AI 분야에 비전문적인 배경을 가진 종료자들이 가장 이해하기 쉽고 유용하게 느끼는 설명 유형은 무엇인가?
• RQ2 다양한 설명 방식이 종료자 관점에서 실제 임상적 의사결정 과제에서 어떻게 기능하는가?
• RQ3 실제 적용 상황에서 각 설명 방식의 강점, 한계 및 디자인 함의는 무엇인가?
• RQ4 종료자가 사용자 중심의 설명 가능한 AI 프로토타입을 효과적으로 공동 설계하기 위해 어떻게 참여할 수 있는가?

주요 결과

• 32명의 일반 사용자 참여자들이 공동 설계 세션에서 식별된 12가지 설명 방식을 실질적이고 사용 가능한 것으로 평가했다.
• 특성 기반, 예시 기반, 규칙 기반 설명은 기술적 지식 없이도 사용자 이해를 효과적으로 향상시키는 데 특히 유용했다.
• 각 설명 방식은 명확성 대비 복잡성 등의 고유한 장점과 단점이 있었으며, 이는 적절한 사용 사례 선정에 기여했다.
• 사용자 피드백을 통해 설명 제시 시 맥락화 및 시각적 단순화의 필요성 등 구체적인 디자인 함의가 드러났다.
• 공동 설계 과정을 통해 설명 방식이 실용적인 XAI 프로토타이핑의 구성 요소로 효과적으로 검증되었다.
• EUCA 프레임워크는 실제 AI 응용 프로그램에서 종료자 중심 설명을 개발하는 데 실용적이고 실행 가능한 툴킷으로 정립되었다.