[논문 리뷰] Impact Of Explainable AI On Cognitive Load: Insights From An Empirical Study

Lukas-Valentin Herm|arXiv (Cornell University)|2023. 04. 18.

Explainable Artificial Intelligence (XAI)인용 수 12

한 줄 요약

271명의 예비 의사를 대상으로 한 실증 연구는 서로 다른 XAI 설명 유형이 COVID-19 사용 사례에서 인지 부하, 작업 수행, 작업 시간에 유의하게 영향을 미친다는 것을 보여준다.

ABSTRACT

While the emerging research field of explainable artificial intelligence (XAI) claims to address the lack of explainability in high-performance machine learning models, in practice, XAI targets developers rather than actual end-users. Unsurprisingly, end-users are often unwilling to use XAI-based decision support systems. Similarly, there is limited interdisciplinary research on end-users' behavior during XAI explanations usage, rendering it unknown how explanations may impact cognitive load and further affect end-user performance. Therefore, we conducted an empirical study with 271 prospective physicians, measuring their cognitive load, task performance, and task time for distinct implementation-independent XAI explanation types using a COVID-19 use case. We found that these explanation types strongly influence end-users' cognitive load, task performance, and task time. Further, we contextualized a mental efficiency metric, ranking local XAI explanation types best, to provide recommendations for future applications and implications for sociotechnical XAI research.

연구 동기 및 목표

• 개발자 너머의 최종 사용자의 XAI 설명에 대한 인지 반응을 이해하는 동기를 부여한다.
• 구현에 독립적인 XAI 설명 유형이 인지 부하와 성능에 미치는 영향을 정량화한다.
• 향후 사회기술적 XAI 연구 및 실용적 적용에 대한 권고를 제공한다.

제안 방법

• 271명의 예비 의사를 대상으로 실증 연구를 수행한다.
• COVID-19 사용 사례를 활용하여 서로 다른 XAI 설명 유형에 대해 인지 부하, 작업 성과, 작업 시간을 측정한다.
• 설명 유형이 세 가지 결과 지표에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 다양한 XAI 설명 유형이 최종 사용자에게서 인지 부하에 차별적으로 영향을 미치는가?
• RQ2 임상 의사결정 지원 맥락에서 XAI 설명이 작업 성과 및 작업 시간에 어떤 영향을 미치는가?
• RQ3 어떤 XAI 설명 유형이 최종 사용자의 인지 효율성(정신적 효율성)을 최적화하는가?

주요 결과

• 설명 유형은 인지 부하, 작업 수행, 그리고 작업 시간에 강한 영향을 미친다.
• 특정 로컬 XAI 설명 유형이 정신적 효율성에서 더 높은 순위를 차지하여 최종 사용자에게 더 효과적임을 시사한다.
• 본 연구는 설명 유형을 비교하고 향후 적용을 안내하기 위한 정신적 효율성 지표를 맥락화한다.