[논문 리뷰] How Human-Centered Explainable AI Interface Are Designed and Evaluated: A Systematic Survey

Thu Nguyen, Alessandro Canossa외 1명|arXiv (Cornell University)|2024. 03. 21.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 체계적 설문 조사에서는 인간 중심의 설명 가능한 인공지능(XAI) 인터페이스(EI)에 관한 53项 연구를 분석하여 사용성, 해석 가능성 및 사용자 능력 향상을 위한 설계 및 평가 관행을 규명한다. 연구는 사용자 참여, 인터페이스 설계(예: 순차적 정보 구조, 상호작용 지시), 평가 방법에 대한 주요 추세를 드러내며, 아직 탐색되지 않은 설계 조합을 바탕으로 향후 EI 개발을 안내하는 생성적 프레임워크를 제안한다.

ABSTRACT

Despite its technological breakthroughs, eXplainable Artificial Intelligence (XAI) research has limited success in producing the {\em effective explanations} needed by users. In order to improve XAI systems' usability, practical interpretability, and efficacy for real users, the emerging area of {\em Explainable Interfaces} (EIs) focuses on the user interface and user experience design aspects of XAI. This paper presents a systematic survey of 53 publications to identify current trends in human-XAI interaction and promising directions for EI design and development. This is among the first systematic survey of EI research.

연구 동기 및 목표

• 기술적 해석 가능성은 빠르게 발전하고 있으나 사용자 사용성과 실질적 해석 가능성은 뒤처지는 XAI 연구의 격차를 보완하기 위해.
• 실제 적용 환경에서의 사용성 향상을 위해 인간 중심 설계 원칙이 XAI 사용자 인터페이스(EI)에 어떻게 적용되고 있는지 조사하기 위해.
• 체계적인 문헌 검토를 통해 실증 연구를 대상으로 현재의 설계 및 평가 관행과 유망한 방향을 규명하기 위해.
• 아직 탐색되지 않은 설계 조합과 사용자 중심 평가 방법을 분석함으로써 향후 EI 개발을 안내하는 체계적 프레임워크를 제공하기 위해.

제안 방법

• PRISMA 지침을 활용한 체계적 문헌 리뷰를 수행하여 설명 가능한 인터페이스(EI)에 관한 53편의 논문을 식별하고 분석하였다.
• 사용자 참여(예: 사용자 연구, 인물화, 작업 모델링), 인터페이스 설계(예: 정보 구조, 상호작용 유형, 상호작용성), 평가 방법에 따라 연구를 분류하였다.
• 군집 분석을 적용하여 설계 및 평가 패턴에 따라 연구를 그룹화함으로써 주로 사용되거나 아직 탐색되지 않은 인터페이스 특성 조합을 규명하였다.
• 정보 구조, 상호작용 유형, 상호작용성 등 8개의 설계 및 평가 특성을 포함하는 프레임워크를 활용하여 현재의 EI 연구를 체계적으로 맵핑하였다.
• 사용자 참여 실천 방식을 검토하였으며, 인물화 및 작업 모델링과 같은 질적 방법을 포함한 사전 설계 단계에서의 활용 여부를 평가하였다.
• 정의되지 않은 특성 조합(예: 계층적 구조와 정적 상호작용의 조합)을 식별함으로써 향후 EI 혁신의 기회로 삼는 생성적 프레임워크를 제안하였다.

실험 결과

연구 질문

• RQ1 RQ1: 연구자들은 XAI 응용 프로그램의 설계 및 개발 과정에서 인간 참가자를 어떻게 참여시키는가?
• RQ2 RQ2: XAI 연구자들은 인터페이스의 구조, 형식 및 상호작용 측면에서 어떻게 EI를 설계하는가?
• RQ3 RQ3: XAI 연구자들은 실질적으로 EI를 어떻게 평가하는가?
• RQ4 RQ4: EI 설계 특성의 주요 조합과 아직 탐색되지 않은 조합은 무엇인가?
• RQ5 RQ5: 연구 결과는 더 효과적이고 사용자 중심적인 EI 개발을 어떻게 안내할 수 있는가?

주요 결과

• 대부분의 EI 연구(60% 이상)는 순차적 정보 구조를 사용하지만, 계층적 구조는 극히 드물며, 이는 설계의 불균형을 시사한다.
• 지시적 상호작용 유형이 지배적(다수의 연구에서 사용됨)이며, 대화형 또는 탐색형 상호작용 방식은 여전히 미흡하게 활용되고 있다.
• 연구의 소수(10% 미만)만이 정적 상호작용과 계층적 정보 아키텍처를 조합하여 구현하고 있어, 상당한 설계 격차가 존재함을 시사한다.
• 사용자 참여는 종종 비공식적 피드백이나 사후 평가에 국한되어 있으며, 초기 설계 단계에서 인물화나 작업 모델링과 같은 체계적 방법을 사용하는 연구는 소수에 불과하다.
• 평가 방법은 주로 정량적이고 신뢰도 또는 정확도에 집중되어 있으며, 해석 가능성에 대한 질적 평가나 장기적 평가의 활용은 제한적이다.
• 분석 결과, 정적 상호작용과 계층적 정보 아키텍처를 동시에 조합한 연구는 전혀 없었으며, 이는 향후 EI 혁신의 잠재적 기회로 여겨진다.