[논문 리뷰] Two Many Cooks: Understanding Dynamic Human-Agent Team Communication and Perception Using Overcooked 2

Andres Rosero, Faustina Dinh외 3명|arXiv (Cornell University)|2021. 10. 06.

Human-Automation Interaction and Safety참고 문헌 26인용 수 8

한 줄 요약

이 연구는 Overcooked 2를 사용하여 동적 협업 과제에서 인지 부하와 팀 구성(인간-인간 대비 인간-AI)이 의사소통 품질, 팀 인식, 성과에 미치는 영향을 조사한다. 참가자는 다양한 과제 부하 하에서 동료 팀원(실제 인간 또는 시뮬레이션된 AI)과 함께 플레이했으며, 표정 기호와 구두 명령어를 통해 소통했다. 그 결과, 높은 과제 부하가 의사소통 품질을 떨어뜨리고, 팀원에 대한 인식이 팀 역학에 상당한 영향을 미친다는 것이 밝혀졌다.

ABSTRACT

This paper describes a research study that aims to investigate changes in effective communication during human-AI collaboration with special attention to the perception of competence among team members and varying levels of task load placed on the team. We will also investigate differences between human-human teamwork and human-agent teamwork. Our project will measure differences in the communication quality, team perception and performance of a human actor playing a Commercial Off - The Shelf game (COTS) with either a human teammate or a simulated AI teammate under varying task load. We argue that the increased cognitive workload associated with increases task load will be negatively associated with team performance and have a negative impact on communication quality. In addition, we argue that positive team perceptions will have a positive impact on the communication quality between a user and teammate in both the human and AI teammate conditions. This project will offer more refined insights on Human - AI relationship dynamics in collaborative tasks by considering communication quality, team perception, and performance under increasing cognitive workload.

연구 동기 및 목표

• 증가하는 인지 부하가 인간-AI 팀에서 의사소통 품질, 팀 인식, 성과에 미치는 영향를 이해하는 것.
• 동적이고 협업적인 과제에서 인간-인간 팀과 인간-AI 팀 간의 의사소통 패턴, 팀 인식, 성과를 비교하는 것.
• 참가자가 팀원을 인간으로 간주하는지 AI로 간주하는지에 따라 의사소통 품질과 팀 성과에 영향을 미치는지 조사하는 것.
• 인간-AI 협업에서 변동하는 과제 부하 하에서 팀 성과와 의사소통의 회복력을 평가하는 것.
• 실세계 협업 시스템에 적용 가능한 생태학적으로 타당한 인간-AI 팀워크 역학에 대한 통찰을 제공하는 것.

제안 방법

• 참가자들은 공동 온라인 플레이 환경에서 Overcooked 2를 플레이하며 동료 팀원과 함께 했다.
• 팀 구성은 조작되었으며, 참가자는 실제 인간 또는 시뮬레이션된 AI 팀원과 짝을 이뤘다.
• 과제 부하는 6단계로 조작되었으며, 3단계의 저부하와 3단계의 고부하로 나뉘었고, 순서 효과를 통제하기 위해 라틴 스퀴어 설계가 사용되었다.
• 소통은 참가자의 구두 명령어와 동료의 표정 기호 반응으로 제한되어 상호작용을 표준화했다.
• 인지 부하는 각 단계 후에 Gas Tank Questionnaire로 측정되었고, 기초 단계에서는 NASA-TLX가 사용되었다.
• 팀 인식과 성과는 각 단계 후 설문조사와 기록된 게임 플레이 분석을 통해 평가되었다.

실험 결과

연구 질문

• RQ1 증가하는 인지 부하가 인간-AI 팀에서 인간-인간 팀과 비교해 의사소통 품질에 어떤 영향을 미치는가?
• RQ2 다양한 과제 부하 하에서 AI 팀원에 대한 팀 인식(예: 전문성, 호감도)이 인간 팀원에 대한 인식과 어떻게 다를까?
• RQ3 변동하는 과제 조건 하에서 인간-AI 팀과 인간-인간 팀 간의 의사소통 품질과 팀 성과 간의 관계는 어떠한가?
• RQ4 팀원에 대한 인식(인간 대비 AI)이 의사소통 품질과 성과 결과에 어떤 중재 효과를 가지는가?
• RQ5 낮은 부하와 높은 부하 조건 하에서 팀 인식과 의사소통 품질이 전체 팀 성과를 얼마나 예측하는가?

주요 결과

• 높은 과제 부하가 인간-AI 팀과 인간-인간 팀 양쪽 모두에서 의사소통 품질에 명백한 하락을 초래했다.
• 의사소통이 표정 기호로 제한된 상황에서도 참가자들은 AI 팀원보다 인간 팀원과 더 많이 소통했다.
• 팀원에 대한 인식—특히 전문성과 호감도 인식—은 양 조건에서 의사소통 품질의 강력한 예측 변수였다.
• 특히 고부하 조건에서 AI 팀원 조건에서의 성과가 인간 팀원 조건보다 떨어졌다.
• 참가자가 자신의 AI 팀원을 더 전문적으로 인식할수록 더 자주이고 효과적으로 소통했으며, 이는 인식이 팀 효율성에 중재 역할을 한다는 것을 시사한다.
• 팀원을 도구가 아닌 협업 파artner로 인식할 경우, AI 팀원이더라도 의사소통과 성과가 향상되는 것으로 나타났다.