[論文レビュー] The Utility of Explainable AI in Ad Hoc Human-Machine Teaming

Rohan Paleja, Muyleng Ghuy+3 more|arXiv (Cornell University)|Sep 8, 2022

Human-Automation Interaction and Safety被引用数 19

ひとこと要約

本研究では、2つの被験者実験を用いて、説明可能なAI（xAI）がアドホックな人間-機械チームワークに与える影響を調査している。xAIは初心者において状況認識とパフォーマンスを向上させるが、熟練者では認知的オーバーヘッドのためパフォーマンスが低下する。これは、xAIの効果がチーム構成に強く依存しており、ユーザーの熟練度に応じたカスタマイズが不可欠であることを示している。

ABSTRACT

Recent advances in machine learning have led to growing interest in Explainable AI (xAI) to enable humans to gain insight into the decision-making of machine learning models. Despite this recent interest, the utility of xAI techniques has not yet been characterized in human-machine teaming. Importantly, xAI offers the promise of enhancing team situational awareness (SA) and shared mental model development, which are the key characteristics of effective human-machine teams. Rapidly developing such mental models is especially critical in ad hoc human-machine teaming, where agents do not have a priori knowledge of others' decision-making strategies. In this paper, we present two novel human-subject experiments quantifying the benefits of deploying xAI techniques within a human-machine teaming scenario. First, we show that xAI techniques can support SA ($p<0.05)$. Second, we examine how different SA levels induced via a collaborative AI policy abstraction affect ad hoc human-machine teaming performance. Importantly, we find that the benefits of xAI are not universal, as there is a strong dependence on the composition of the human-machine team. Novices benefit from xAI providing increased SA ($p<0.05$) but are susceptible to cognitive overhead ($p<0.05$). On the other hand, expert performance degrades with the addition of xAI-based support ($p<0.05$), indicating that the cost of paying attention to the xAI outweighs the benefits obtained from being provided additional information to enhance SA. Our results demonstrate that researchers must deliberately design and deploy the right xAI techniques in the right scenario by carefully considering human-machine team composition and how the xAI method augments SA.

研究の動機と目的

• アドホックな人間-機械チームワークにおける状況認識（SA）と共有メンタルモデルの構築を高めるために、説明可能なAI（xAI）の有効性を定量化すること。
• 特にステータスベースの説明と意思決定ツリー説明という異なるxAI技術が、人間の熟練度の異なる水準においてチームパフォーマンスにどのように影響を与えるかを検討すること。
• xAI支援が人間-機械チームワークのパフォーマンスを普遍的に向上させるのか、それとも人間の認知的負荷と事前の経験に依存して効果が異なるのかを調査すること。
• 情報の獲得と認知的オーバーヘッドのトレードオフを分析することで、人間-機械チームにおけるxAIの設計原則を特定すること。

提案手法

• アドホックな人間-機械チームワークを模擬するため、Minecraftベースの共同タスク環境を用いた2つの制御された被験者実験を実施した。
• 2種類の異なるxAI技術を搭載したコボットを導入した：単純なステータスベースの説明（例：「タスクXを処理中」）と、コボットのポリシーを意思決定ツリーで説明する方法。
• 説明の複雑さを評価するために、説明セットの部分的（IV1）および完全的（IV2）なサポートを条件ごとに変化させた。
• タスク完了時間、成功確率といった定量的パフォーマンス指標、状況認識（SA）、信頼度、自己効力感、作業連携といった定性的指標を測定した。
• ゲーム経験に基づいて被験者を初心者と熟練者に分類し、熟練度依存の効果を分析した。
• p < 0.05を基準として、xAI条件および熟練度レベル間でのパフォーマンスおよび認識の差の有意性を統計的分析で評価した。

実験結果

リサーチクエスチョン

• RQ1 xAI技術の導入は、アドホックな人間-機械チームワークにおける状況認識（SA）を向上させるか？
• RQ2 人間-機械チームの構成、特に人間の熟練度が、xAI支援の効果にどのように影響を及えるか？
• RQ3 ステータス説明と意思決定ツリー説明という異なる種類のxAI説明は、初心者と熟練者において異なるパフォーマンス結果をもたらすか？
• RQ4 説明の複雑さ（例：完全な意思決定ツリー）が、特に熟練者において認知的過負荷を引き起こし、パフォーマンスを低下させるか？
• RQ5 xAIは、人間-機械チームにおける信頼度、自己効力感、チーム結束の主観的認識にどの程度影響を与えるか？

主な発見

• xAIベースの支援は、人間チームメイトの状況認識（SA）を顕著に向上させた（p < 0.05）。これは、xAIが状況分析能力を高めることを確認した。
• 初心者にはステータスベースのxAI支援が有効で、パフォーマンスが向上した（p < 0.05）。一方、意思決定ツリー説明はパフォーマンス向上に寄与せず、認知的負担を増加させる可能性がある。
• 熟練者では、xAI支援の提供によりパフォーマンスが低下した（p < 0.05）。これは、説明の処理にかかる認知的コストが、SAの向上による利益を上回っていることを示している。
• 熟練者たちは、xAIを支援するコボットをより信頼でき、知的で能力があると認識したが、その認識はパフォーマンスの向上に結びつかなかった。
• 完全なxAI支援（IV2）を受ける熟練者では、部分的支援（IV1）よりもパフォーマンスがさらに低下した。これは、説明の複雑さが認知的過負荷を悪化させることを示している。
• 熟練度にかかわらず、全被験者からxAIを支援するコボットに対して、信頼度、自己効力感、作業連携の評価が高く出た。これは、パフォーマンスのトレードオフにもかかわらず、xAIに対する強い肯定的認識があることを示している。