[論文レビュー] Two Many Cooks: Understanding Dynamic Human-Agent Team Communication and Perception Using Overcooked 2

Andres Rosero, Faustina Dinh+3 more|arXiv (Cornell University)|Oct 6, 2021

Human-Automation Interaction and Safety参考文献 26被引用数 8

ひとこと要約

本研究では、Overcooked 2 を用いて、動的で協働的なタスクにおける認知的負荷とチーム構成（人間同士対比・人間-AI）が、コミュニケーションの質、チームの認識、パフォーマンスに与える影響を調査した。参加者は、被験者同伴者（人間またはAI）と、認知的負荷が変化する条件下で、絵文字と音声コマンドによる通信を経験した。その結果、負荷が高くなるとコミュニケーションの質が低下し、チームメイトの認識がチームダイナミクスに顕著に影響することが明らかになった。

ABSTRACT

This paper describes a research study that aims to investigate changes in effective communication during human-AI collaboration with special attention to the perception of competence among team members and varying levels of task load placed on the team. We will also investigate differences between human-human teamwork and human-agent teamwork. Our project will measure differences in the communication quality, team perception and performance of a human actor playing a Commercial Off - The Shelf game (COTS) with either a human teammate or a simulated AI teammate under varying task load. We argue that the increased cognitive workload associated with increases task load will be negatively associated with team performance and have a negative impact on communication quality. In addition, we argue that positive team perceptions will have a positive impact on the communication quality between a user and teammate in both the human and AI teammate conditions. This project will offer more refined insights on Human - AI relationship dynamics in collaborative tasks by considering communication quality, team perception, and performance under increasing cognitive workload.

研究の動機と目的

• 認知的負荷の増加が人間-エージェントチームにおけるコミュニケーションの質、チーム認識、パフォーマンスに与える影響を理解すること。
• 動的で協働的なタスクにおいて、人間同士と人間-AIチームの間で、通信パターン、チーム認識、パフォーマンスに差이 있는かを比較すること。
• 参加者がチームメイト（人間かAIか）をどのように認識しているかが、コミュニケーションの質とチームパフォーマンスに与える影響を検討すること。
• 人間-AI協働における変動するタスク負荷下で、チームパフォーマンスとコミュニケーションのレジリエンスを評価すること。
• 現実世界の協働システムに適用可能な、生態的妥当性の高い人間-AIチームダイナミクスの知見を提供すること。

提案手法

• 参加者は、被験者同伴者（人間またはシミュレートされたAI）と、オンラインマルチプレイヤー形式でOvercooked 2 をプレイした。
• チーム構成を操作：参加者は、人間またはシミュレートされたAIのチームメイトとペアを形成した。
• タスク負荷は6段階（低負荷3段階、高負荷3段階）に設定され、順序効果を制御するためラテンスクエア設計が用いられた。
• 通信は、参加者の音声コマンドと被験者同伴者の絵文字反応に限定され、対話の標準化が図られた。
• 認知的負荷は、各レベル終了後にガスタンクアンケートで測定され、初期段階ではNASA-TLXが使用された。
• チーム認識とパフォーマンスは、レベル終了後のアンケートと記録されたゲームプレイ分析を通じて評価された。

実験結果

リサーチクエスチョン

• RQ1 認知的負荷が高くなると、人間-AIチームと人間同士チームの間で、コミュニケーションの質にどのような影響を与えるか？
• RQ2 異なるタスク負荷下において、AIチームメイトに対する認識（能力、好意性など）は、人間チームメイトに対する認識とどのように異なるか？
• RQ3 変動するタスク条件下で、人間-AIチームと人間同士チームの間で、コミュニケーションの質とチームパフォーマンスの関係はどのように異なるか？
• RQ4 チームメイト（人間対AI）の認識が、コミュニケーションの質とパフォーマンスの結果にどのように媒介作用を果たすか？
• RQ5 高負荷および低負荷下で、チーム認識とコミュニケーションの質が、総合的なチームパフォーマンスをどの程度予測できるか？

主な発見

• 両方のチーム条件（人間-AIおよび人間同士）において、タスク負荷が高くなると、コミュニケーションの質に顕著な低下が見られた。
• 通信が絵文字に限定されても、参加者はAIチームメイトに対して人間チームメイトよりも顕著に通信を減らした。
• チームメイトの認識（特に能力と好意性）が、両条件においてコミュニケーションの質の強力な予測要因であった。
• 特に高負荷下では、AIチームメイト条件でのパフォーマンスが、人間チームメイト条件よりも低かった。
• 参加者がAIチームメイトをより能力があると認識した場合、より頻繁で効果的なコミュニケーションが見られた。これは、認識がチーム効果性を媒介している可能性を示唆している。
• 本研究では、チームメイトを協働パートナー（道具ではなく）と認識することで、AIチームメイトを含むチームでも、コミュニケーションとパフォーマンスが向上した。