[論文レビュー] `Why not give this work to them?' Explaining AI-Moderated Task-Allocation Outcomes using Negotiation Trees

Zahra Zahedi, Sailik Sengupta+1 more|arXiv (Cornell University)|Feb 5, 2020

Explainable Artificial Intelligence (XAI)参考文献 22被引用数 4

ひとこと要約

本稿では、代替的（反事後的）割り当てが劣悪に機能することを正当化するための交渉ツリーを生成することで、人間とマルチエージェントチームにおける説明可能で公平なタスク割り当てを提供するAIタスクアロケータ（AITA）を提案する。実験では、人間が他者のコストを低く見積もっている場合に特に、説明が長くなりながらも理解され、説得力を持つことが示された。

ABSTRACT

The problem of multi-agent task allocation arises in a variety of scenarios involving human teams. In many such settings, human teammates may act with selfish motives and try to minimize their cost metrics. In the absence of (1) complete knowledge about the reward of other agents and (2) the team's overall cost associated with a particular allocation outcome, distributed algorithms can only arrive at sub-optimal solutions within a reasonable amount of time. To address these challenges, we introduce the notion of an AI Task Allocator (AITA) that, with complete knowledge, comes up with fair allocations that strike a balance between the individual human costs and the team's performance cost. To ensure that AITA is explicable to the humans, we allow each human agent to question AITA's proposed allocation with counterfactual allocations. In response, we design AITA to provide a replay negotiation tree that acts as an explanation showing why the counterfactual allocation, with the correct costs, will eventually result in a sub-optimal allocation. This explanation also updates a human's incomplete knowledge about their teammate's and the team's actual costs. We then investigate whether humans are (1) able to understand the explanations provided and (2) convinced by it using human factor studies. Finally, we show the effect of various kinds of incompleteness on the length of explanations. We conclude that underestimation of other's costs often leads to the need for explanations and in turn, longer explanations on average.

研究の動機と目的

• 個人およびチームのコストに関する知識が不完全であるため、人間チームにおける非最適なタスク割り当てを是正すること。
• 完全な知識を持つAIタスクアロケータ（AITA）を設計し、個人の負担とチームパフォーマンスの両方をバランスさせる公平で整合性のある割り当てを生成すること。
• 反事後的割り当てが失敗する理由を示す再再生された交渉ツリーを用いて、AITAがその割り当てを説明できることを可能にすること。
• 人間要因研究を通じて、人間がこれらの説明を理解し、説得されることを評価すること。
• さまざまなタイプのコストの不完全性が、説明の長さと明確さに与える影響を分析すること。

提案手法

• AITAは、個人およびチームのコストに関する完全な知識を用いて、個人の負担とチームパフォーマンスの両方をバランスさせる公平なタスク割り当てを計算する。
• 人間エージェントが割り当てを疑問視した場合、AITAは反事後的割り当てを受け入れ、再再生された交渉ツリーを用いてその交渉プロセスをシミュレートする。
• 交渉ツリーは、コストの伝播経路と意思決定経路をたどることで、反事後的割り当てが最終的に非最適な結果に終わることを説明する。
• 説明は、人間が以前に欠落していた正確なコスト情報を明らかにすることで、人間の理解を動的に更新する。
• 人間要因研究を通じて、説明の理解度と説得力の程度を評価する。
• 説明の長さを測定し、特に他者のコストを低く見積もっている場合の不完全性のタイプと相関をとる。

実験結果

リサーチクエスチョン

• RQ1 人間は、AITAが生成するAIメディエートタスク割り当てのための交渉ツリー説明を理解できるか？
• RQ2 人間は、AIの割り当て提案に疑問を呈した際に、その説明に説得されるか？
• RQ3 人間の知識における不完全性の度合い、特に他者のコストを低く見積もっている場合が、説明の長さにどのように影響するか？
• RQ4 説明メカニズムは、人間エージェントがチームメートとチーム全体の実際のコストについての認識を正確に更新するのに成功するか？
• RQ5 コストの不完全性の種別と、必要な説明の複雑さの関係は何か？

主な発見

• 人間は、AITAが提供する交渉ツリー説明を理解できており、この方法が人間とAIの間の効果的なコミュニケーションを可能にしていることが示された。
• 人間は、説明にしばしば説得され、とくに反事後的割り当てが明確に非最適な結果に終わることを示す場合に顕著にそうなる。
• 他者のコストを低く見積もっていることが、説明が長くなる主な要因である。これは、交渉ツリー内でより複雑な推論経路が発生するからである。
• 説明メカニズムは、人間エージェントがチームメートおよびチーム全体のコストについての認識を正確に更新するのを成功させ、知識ギャップを縮小した。
• エージェントが他者のコストを低く見積もっている場合、説明の長さが顕著に増加することが確認され、このような不完全性がより詳細な正当化を必要とすることが裏付けられた。
• 本システムは、説明可能なAIがAI意思決定の透明性と正当性を高めることで、協働的タスク割り当てにおける信頼と受容性を向上させられることを示している。