[논문 리뷰] The Utility of Explainable AI in Ad Hoc Human-Machine Teaming

Rohan Paleja, Muyleng Ghuy외 3명|arXiv (Cornell University)|2022. 09. 08.

Human-Automation Interaction and Safety인용 수 19

한 줄 요약

이 논문은 두 개의 인간 주제 실험을 통해 설명 가능한 인공지능(xAI)이 광범위한 인간-기계 협력 팀에서 미치는 영향을 조사한다. xAI는 초보자에겐 상황 인식 능력과 성능을 향상시키지만 전문가의 성능을 떨어뜨리는 것으로 나타났다. 이는 인지적 부담이 발생하기 때문이며, xAI의 이점이 팀 구성과 사용자 전문성에 따라 크게 달라지며, 사용자 전문성에 맞게 맞춤형으로 제공되어야 함을 보여준다.

ABSTRACT

Recent advances in machine learning have led to growing interest in Explainable AI (xAI) to enable humans to gain insight into the decision-making of machine learning models. Despite this recent interest, the utility of xAI techniques has not yet been characterized in human-machine teaming. Importantly, xAI offers the promise of enhancing team situational awareness (SA) and shared mental model development, which are the key characteristics of effective human-machine teams. Rapidly developing such mental models is especially critical in ad hoc human-machine teaming, where agents do not have a priori knowledge of others' decision-making strategies. In this paper, we present two novel human-subject experiments quantifying the benefits of deploying xAI techniques within a human-machine teaming scenario. First, we show that xAI techniques can support SA ($p<0.05)$. Second, we examine how different SA levels induced via a collaborative AI policy abstraction affect ad hoc human-machine teaming performance. Importantly, we find that the benefits of xAI are not universal, as there is a strong dependence on the composition of the human-machine team. Novices benefit from xAI providing increased SA ($p<0.05$) but are susceptible to cognitive overhead ($p<0.05$). On the other hand, expert performance degrades with the addition of xAI-based support ($p<0.05$), indicating that the cost of paying attention to the xAI outweighs the benefits obtained from being provided additional information to enhance SA. Our results demonstrate that researchers must deliberately design and deploy the right xAI techniques in the right scenario by carefully considering human-machine team composition and how the xAI method augments SA.

연구 동기 및 목표

• 광범위한 인간-기계 협력 팀에서 설명 가능한 인공지능(xAI)이 상황 인식(SA) 및 공동 정서 모델 개발을 향상시키는 데 기여하는 정도를 정량화하는 것.
• 특히 상태 기반 설명과 의사결정 트리 기반 설명이라는 다양한 xAI 기법이 인간 전문성 수준에 따라 팀 성능에 어떤 영향을 미치는지 조사하는 것.
• xAI 지원이 인간-기계 협력 팀의 성능을 일반적으로 향상시키는지 여부를 조사하며, 인간의 인지적 부담과 이전 경험 여부에 따라 그 효과가 달라지는지 탐구하는 것.
• 정보 수확과 인지적 과부하 사이의 상호 교환 관계를 분석하여 인간-기계 팀에서 xAI의 설계 원칙을 도출하는 것.

제안 방법

• 광범위한 인간-기계 협력 팀을 시뮬레이션하기 위해 마인크래프트 기반의 협업 작업 환경을 사용한 두 가지 제어된 인간 주제 실험을 수행하였다.
• 두 가지 다른 xAI 기법을 적용한 공동작업 로봇(cobot)을 도입하였으며, 간단한 상태 기반 설명(예: '작업 X를 수행 중')과 공 cobot의 정책을 설명하는 의사결정 트리 기반 설명을 사용하였다.
• 설명의 복잡성에 따라 xAI 지원 수준을 조절하였으며, 부분적(IV1) 및 완전한(IV2) 설명 세트를 조건으로 설정하여 설명 복잡성의 영향을 평가하였다.
• 작업 완료 시간, 성공률 등의 목적적 성능 지표, 상황 인식(SA), 신뢰도, 인지 능력 평가, 작업 연합도 등의 주관적 지표를 측정하였다.
• 사전 게임 경험에 따라 참가자를 초보자 및 전문가 그룹으로 분류하여 전문성에 따른 영향을 분석하였다.
• 성능 및 인식 차이의 유의성 평가를 위해 통계 분석(p < 0.05)을 사용하였다.

실험 결과

연구 질문

• RQ1 xAI 기법의 도입이 광범위한 인간-기계 협력 팀에서 상황 인식(SA)을 향상시키는가?
• RQ2 특히 인간의 전문성 수준이 인간-기계 팀의 구성에 따라 xAI 지원의 효과성을 어떻게 조절하는가?
• RQ3 상태 기반 설명과 의사결정 트리 기반 설명이라는 서로 다른 xAI 설명 유형이 초보자와 전문가의 성능에 다른 영향을 미치는가?
• RQ4 설명 복잡성 증가(예: 완전한 의사결정 트리)가 특히 전문가에게서 인지적 과부하로 이어져 성능 저하를 초래하는가?
• RQ5 xAI가 인간-기계 팀의 주관적 신뢰도, 능력 평가 및 팀 유대감에 어느 정도 영향을 미치는가?

주요 결과

• xAI 기반 지원은 인간 팀원의 상황 인식(SA)을 유의미하게 향상시켰으며(p < 0.05), 이는 xAI가 상황 분석 능력을 향상시킨다는 것을 확인한다.
• 초보자는 상태 기반 xAI 지원에서 성과 향상을 보였으며(p < 0.05), 반면 의사결정 트리 기반 설명은 성과 향상에 기여하지 못하고 오히려 인지적 과중을 가중시킬 수 있다.
• 전문가의 성과는 xAI 지원이 제공될 경우 떨어졌으며(p < 0.05), 이는 설명 처리에 따른 인지적 비용이 상황 인식 향상의 이점을 초월한다는 것을 시사한다.
• 전문가들은 xAI를 통한 공 cobot를 더 신뢰할 수 있고, 더 지능적이고 능력이 있다고 평가했지만, 이러한 인식은 성과 향상으로 이어지지 않았다.
• 전문가가 완전한 xAI 지원(IV2)을 받을 경우 부분적 지원(IV1)보다 성과가 더 악화되었으며, 이는 설명 복잡성이 인지적 과부하를 악화시킨다는 것을 시사한다.
• 전문성에 관계없이 모든 참가자가 xAI를 통한 공 cobot를 더 높은 수준의 신뢰도, 인지 능력 평가 및 작업 연합도로 평가하였으며, 이는 성과의 상충관계에도 불구하고 xAI에 대한 강력한 긍정적 인식이 있음을 나타낸다.