[논문 리뷰] On the Effect of Information Asymmetry in Human-AI Teams

Patrick Hemmer, Max Schemmer외 3명|arXiv (Cornell University)|2022. 05. 03.

Big Data and Business Intelligence인용 수 7

한 줄 요약

이 연구는 인간이 AI가 접근할 수 없는 문맥적 이미지 데이터에 접근할 수 있는 정보 비대칭성의 영향을 통해 인간-AI 의사결정에서 상호보완적 팀 성과(complementary team performance, CTP)가 어떻게 달성되는지를 조사한다. 실제 부동산 평가에 대한 온라인 실험에서, 주택 이미지에 접근할 수 있는 참가자(UHCI)는 AI 예측을 크게 향상시켜 평균 절대 오차(MAE)가 148,009달러인 CTP를 달성하였으며, 이는 인간만의 성과(200,510달러)와 AI만의 성과(163,080달러)를 모두 뛰어넘는 결과였다.

ABSTRACT

Over the last years, the rising capabilities of artificial intelligence (AI) have improved human decision-making in many application areas. Teaming between AI and humans may even lead to complementary team performance (CTP), i.e., a level of performance beyond the ones that can be reached by AI or humans individually. Many researchers have proposed using explainable AI (XAI) to enable humans to rely on AI advice appropriately and thereby reach CTP. However, CTP is rarely demonstrated in previous work as often the focus is on the design of explainability, while a fundamental prerequisite -- the presence of complementarity potential between humans and AI -- is often neglected. Therefore, we focus on the existence of this potential for effective human-AI decision-making. Specifically, we identify information asymmetry as an essential source of complementarity potential, as in many real-world situations, humans have access to different contextual information. By conducting an online experiment, we demonstrate that humans can use such contextual information to adjust the AI's decision, finally resulting in CTP.

연구 동기 및 목표

• 정보 비대칭성—특히 인간이 AI가 접근할 수 없는 고유한 인간적 문맥 정보(UHCI)를 지닌다는 점—이 인간-AI 팀에서 상호보완성 잠재력(CP)의 근원이 될 수 있는지 조사하는 것.
• UHCI가 인간이 AI 예측을 의미적으로 조정할 수 있도록 하여, 개별 수행자보다 뛰어난 상호보완적 팀 성과(CTP)를 이끌어내는지 검토하는 것.
• XAI 기반 의사결정이 상호보완적 팀 성과(CTP)를 달성할 수 있는 조건을 평가하며, 특히 AI의 학습 데이터 외부의 문맥 정보의 역할을 중점적으로 다루는 것.
• 효과적인 인간-AI 협업을 위한 기본 전제 조건인 상호보완성 잠재력(CP)을 특정하고 검증하는 것. 이는 XAI만으로도 CTP가 보장된다는 가정에 도전하는 것.
• UHCI가 분석적 사고를 유도하고 AI 조언에 대한 신뢰도를 향상시켜 팀 성과를 향상시킬 수 있음을 실증적으로 입증하는 것.

제안 방법

• Prolific.co를 통해 모집한 101명의 참가자를 대상으로 온라인 실험을 실시하였으며, 주택 이미지 접근 여부에 따라 두 조건(접근 가능 및 불가능)으로 무작위 배정하였다.
• 탭류 부동산 데이터만을 사용해 학습된 AI 모델을 활용하여 부동산 가격을 예측하고 신뢰도 추정치를 제공하였으며, 학습 과정에서 이미지는 전혀 사용하지 않았다.
• 참가자들은 먼저 독립적으로 예측을 내렸고, 이후 AI의 예측과 신뢰도 추정치를 확인한 후 정확도를 향상시키기 위해 이를 조정하였다.
• 성과는 예측된 가격과 실제 가격 간의 평균 절대 오차(MAE)를 측정하여, 조건 간 개인 및 팀 성과를 비교하였다.
• 유의성 평가를 위해 이원적 독립 표본 t-검정과 Bonferroni 보정을 적용하였으며, 이상치 제거에는 중앙절대편차(MAD) 기반 방법을 사용하였다.
• 인구통계학적 데이터를 수집하였고, 성과 기반 인centive(기본 보상 + 상위 10%에게 추가 보너스)를 제공하여 참가자의 몰입도와 데이터 품질을 확보하였다.

실험 결과

연구 질문

• RQ1 고유한 인간적 문맥 정보(UHCI)의 존재가 인간이 AI 예측을 향상시키고 인간-AI 의사결정에서 상호보완적 팀 성과(CTP)를 달성하는 데 기여하는가?
• RQ2 UHCI가 실제 부동산 평가 과업에서 인간-AI 팀의 성과를 인간 또는 AI 개별 성과와 비교해 어떻게 영향을 미치는가?
• RQ3 UHCI 접근이 가능한 경우 인간-AI 팀의 성과 향상이 통계적으로 유의미한가? 그리고 이는 AI 개별 성과를 뛰어넘는가?
• RQ4 UHCI가 AI 조언에 대한 반응에서 분석적 사고를 촉진하고 직관적 사고를 감소시키는 등 인지 과정에 어떤 영향을 미치는가?
• RQ5 상호보완성 잠재력(CP)과 설명가능한 인공지능(XAI) 기법 간의 상호작용이 적절한 신뢰도 및 팀 성과에 어떻게 영향을 미치는가?

주요 결과

• UHCI가 없는 조건에서는 인간의 성과가 평균 절대 오차(MAE) 251,282달러였지만, UHCI 조건에서는 유의미하게 200,510달러로 향상되었다(p < 0.001).
• UHCI가 없는 조건에서 인간-AI 팀의 MAE는 160,095달러였으며, 이는 AI 개별 성과(163,080달러)와 유의미한 차이가 없었다(p = 0.99).
• UHCI 조건에서 인간-AI 팀의 MAE는 148,009달러로, AI 개별 성과보다 유의미하게 향상되었고(p = 0.0155), 인간만의 성과보다도 뚜렷하게 뛰어났다(p < 0.001).
• UHCI 조건에서의 팀 성과는 UHCI가 없는 조건보다 유의미하게 뛰어났다(p < 0.001), 이는 UHCI가 CTP를 가능하게 함을 입증한다.
• UHCI 존재 시 인간-AI 팀의 성과는 UHCI가 없는 팀 대비 12,086달러 감소하였으며, 이는 UHCI가 AI 예측의 효과적인 조정을 가능하게 함을 시사한다.
• 이 연구는 인간이 AI가 접근할 수 없는 고유한 문맥 정보를 지닐 경우 CTP를 달성할 수 있음을 확인하며, 효과적인 인간-AI 협업을 위한 핵심 전제 조건을 검증한다.