[논문 리뷰] `Why not give this work to them?' Explaining AI-Moderated Task-Allocation Outcomes using Negotiation Trees

Zahra Zahedi, Sailik Sengupta외 1명|arXiv (Cornell University)|2020. 02. 05.

Explainable Artificial Intelligence (XAI)참고 문헌 22인용 수 4

한 줄 요약

이 논문은 인간-다중에이전트 팀에서 설명 가능하고 공정한 작업 할당을 제공하기 위해, 대체(역사적) 할당이 성능을 떨어뜨릴 것임을 설명하기 위해 협상 트리를 생성하는 AI 작업 할당기(AITA)를 제안한다. 인간들이 이러한 설명을 이해하고 설득당하는 것으로 나타났으며, 특히 다른 이들의 비용을 과소평가할 경우 더 길고 더 정보가 많은 설명이 필요로 한다.

ABSTRACT

The problem of multi-agent task allocation arises in a variety of scenarios involving human teams. In many such settings, human teammates may act with selfish motives and try to minimize their cost metrics. In the absence of (1) complete knowledge about the reward of other agents and (2) the team's overall cost associated with a particular allocation outcome, distributed algorithms can only arrive at sub-optimal solutions within a reasonable amount of time. To address these challenges, we introduce the notion of an AI Task Allocator (AITA) that, with complete knowledge, comes up with fair allocations that strike a balance between the individual human costs and the team's performance cost. To ensure that AITA is explicable to the humans, we allow each human agent to question AITA's proposed allocation with counterfactual allocations. In response, we design AITA to provide a replay negotiation tree that acts as an explanation showing why the counterfactual allocation, with the correct costs, will eventually result in a sub-optimal allocation. This explanation also updates a human's incomplete knowledge about their teammate's and the team's actual costs. We then investigate whether humans are (1) able to understand the explanations provided and (2) convinced by it using human factor studies. Finally, we show the effect of various kinds of incompleteness on the length of explanations. We conclude that underestimation of other's costs often leads to the need for explanations and in turn, longer explanations on average.

연구 동기 및 목표

• 개인 및 팀 비용에 대한 지식이 불완전하여 발생하는 인간 팀 내의 비최적 작업 할당 문제를 해결하기 위해.
• 완전한 지식을 갖춘 AI 작업 할당기(AITA)를 설계하여 개인 노력과 팀 성과 간의 공정하고 균형 잡힌 할당을 생성하기 위해.
• 역사적 할당이 실패할 이유를 보여주는 재생된 협상 트리를 사용해 AITA의 할당을 설명할 수 있도록 하기 위해.
• 사람들이 인간 요소 연구에서 이러한 설명을 이해하고 설득받을 수 있는지 평가하기 위해.
• 비용 불완전성의 다양한 유형이 설명 길이와 명료성에 어떻게 영향을 미치는지 분석하기 위해.

제안 방법

• AITA는 개인 및 팀 비용에 대한 완전한 지식을 사용하여 개인 노력과 팀 성과를 균형 잡는 공정한 작업 할당을 계산한다.
• 인간 에이전트가 할당에 의문을 제기할 경우, AITA는 역사적 할당을 수락하고 재생된 협상 트리를 사용해 그 협상 과정을 시뮬레이션한다.
• 협상 트리는 비용 전파 및 의사결정 경로를 추적함으로써 역사적 할당이 결국 비최적 결과로 이어질 이유를 설명한다.
• 인간의 이해를 동적으로 향상시키기 위해 이전에 누락되었던 정확한 비용 정보를 드러낸다.
• 사람들의 이해도와 설득력 평가를 위해 인간 요소 연구를 통해 시스템을 평가한다.
• 설명 길이를 측정하고, 특히 다른 이들의 비용을 과소평가하는 경우와 같은 불완전성의 유형과 상관관계를 분석한다.

실험 결과

연구 질문

• RQ1 사람들은 AITA가 생성한 AI 중재 작업 할당을 위한 협상 트리 설명을 이해할 수 있는가?
• RQ2 사람들은 AI의 할당 제안에 의문을 제기할 때 이러한 설명에 설득되는가?
• RQ3 사람의 지식 불완전성 수준—특히 다른 이들의 비용을 과소평가할 경우—가 설명 길이에 어떻게 영향을 미치는가?
• RQ4 설명 메커니즘이 인간 에이전트가 동료 및 팀 전반의 실제 비용에 대해 갖는 믿음을 성공적으로 업데이트하는가?
• RQ5 비용 불완전성의 유형과 필요한 설명의 복잡성 사이의 관계는 무엇인가?

주요 결과

• 사람들은 AITA가 제공하는 협상 트리 설명을 이해할 수 있으며, 이는 인간-AI 간 효과적인 소통를 지원함을 시사한다.
• 사람들은 종종 설명에 설득당하며, 특히 역사적 할당이 뚜렷하게 비최적 결과를 낳을 경우 더욱 그렇다.
• 다른 이들의 비용을 과소평가하는 것이 가장 큰 원인으로 작용하여 더 긴 설명이 필요해지며, 이는 협상 트리에서 더 복잡한 추론 경로를 유도하기 때문이다.
• 설명 메커니즘은 인간 에이전트가 동료 및 팀 전반의 비용에 대해 갖는 믿음을 성공적으로 업데이트하여 지식 격차를 줄인다.
• 에이전트가 다른 이들의 비용을 과소평가할 경우 설명 길이가 크게 증가하며, 이는 그러한 불완전성이 더 자세한 정당화가 필요함을 확인한다.
• 이 시스템은 설명 가능한 AI가 AI 결정의 투명성과 정당성을 높여 협업적 작업 할당에서 신뢰와 수용을 향상시킬 수 있음을 보여준다.