[논문 리뷰] Advancing Human-AI Complementarity: The Impact of User Expertise and Algorithmic Tuning on Joint Decision Making

Kori Inkpen, Shreya Chappidi외 7명|arXiv (Cornell University)|2022. 08. 16.

Human-Automation Interaction and Safety인용 수 4

한 줄 요약

이 연구는 사용자 전문성과 알고리즘 튜닝이 혈관 레이블링 작업에서 인간-AI 협업에 미치는 영향을 조사한다. 연구 결과, AI 보조가 중간 수준의 성능을 보이는 사용자에게 가장 큰 성과 향상을 가져오며, 이는 AI가 거짓 음성 결과를 줄이도록 튜닝되었을 때, 인간의 강점과 일치함을 확인한다. 전문가 사용자는 개인 맞춤 튜닝에서 가장 큰 이점을 얻었고, 초보자 사용자는 AI 지원에도 불구하고 성과 향상이 제한적임을 확인하였다.

ABSTRACT

Human-AI collaboration for decision-making strives to achieve team performance that exceeds the performance of humans or AI alone. However, many factors can impact success of Human-AI teams, including a user's domain expertise, mental models of an AI system, trust in recommendations, and more. This work examines users' interaction with three simulated algorithmic models, all with similar accuracy but different tuning on their true positive and true negative rates. Our study examined user performance in a non-trivial blood vessel labeling task where participants indicated whether a given blood vessel was flowing or stalled. Our results show that while recommendations from an AI-Assistant can aid user decision making, factors such as users' baseline performance relative to the AI and complementary tuning of AI error types significantly impact overall team performance. Novice users improved, but not to the accuracy level of the AI. Highly proficient users were generally able to discern when they should follow the AI recommendation and typically maintained or improved their performance. Mid-performers, who had a similar level of accuracy to the AI, were most variable in terms of whether the AI recommendations helped or hurt their performance. In addition, we found that users' perception of the AI's performance relative on their own also had a significant impact on whether their accuracy improved when given AI recommendations. This work provides insights on the complexity of factors related to Human-AI collaboration and provides recommendations on how to develop human-centered AI algorithms to complement users in decision-making tasks.

연구 동기 및 목표

• 사용자 전문성이 공동 의사결정 과제에서 AI 보조의 효과성에 미치는 영향를 이해하는 것.
• 특정 참양성 및 참음성 비율을 고려해 AI 모델을 튜닝함으로써 인간-AI 팀 성과에 미치는 영향를 조사하는 것.
• 사용자가 AI 성능을 자신의 성능과 비교해 평가함에 따라 의사결정 정확도에 어떤 영향을 미치는지 분석하는 것.
• 정신 모델과 신뢰도가 인간-AI 협업 결과를 어떻게 형성하는지 탐색하는 것.
• 인간의 강점을 보완하고 팀 성과를 향상시키는 AI 어시스턴트를 설계하기 위한 지침을 제공하는 것.

제안 방법

• 시민 과학 플랫폼인 Stall Catchers에서 150회의 통제 실험을 실시하여 혈관 레이블링 작업을 시뮬레이션하였다.
• 동일한 총 정확도를 가졌지만 참양성과 참음성 비율 간의 트레이드오프가 다른 세 가지 AI 모델을 사용하였다.
• 기본 정확도가 AI와 유사한 수준인 초보자, 중수준, 전문가 수준의 사용자 성능을 측정하였다.
• 신뢰도, 정신 모델, 의사결정 행동을 분석하기 위해 사용자 피드백 및 인식 데이터를 수집하였다.
• 사용자 결정과 AI 추천 간의 일치도를 분석하여 정확도 및 일관성에 미치는 영향을 평가하였다.
• 성능 수준에 따라 사용자를 군집화하고, 각 군집 내에서 AI 튜닝 효과를 평가하였다.

Figure 1. Side-by-side view of ”flowing” vs ”stalled” blood vessels from the Stall Catchers game.

실험 결과

연구 질문

• RQ1 사용자 전문성 수준이 AI 추천이 의사결정 정확도에 미치는 영향에 어떻게 영향을 미치는가?
• RQ2 AI 모델의 참양성 대 참음성 비율을 튜닝함으로써 인간-AI 협업에서의 팀 성과에 어떤 영향을 미치는가?
• RQ3 사용자가 자신의 성능과 비교해 AI 성능을 평가함에 따라 AI 보조를 사용할 때 의사결정에 어떤 영향을 미치는가?
• RQ4 인간과 AI의 오류 패tern 간의 보완성이 전체 팀 정확도에 어떤 영향을 미치는가?
• RQ5 특정 사용자 전문성 집단을 위해 AI 튜닝을 최적화하여 성과 향상을 도모할 수 있는가?

주요 결과

• 기본 정확도가 AI와 유사한 중수준 사용자들은 결과가 가장 다양하게 나타났다. 일부 경우에 AI 보조가 도움이 되었고, 다른 경우에는 성능이 악화되었다.
• AI가 참음성 결과를 줄이도록 튜닝되었을 때(참양성 결과 증가를 감수함), 사용자들은 더 정확한 결정을 내릴 수 있었고, 이는 잘못된 추천을 쉽게 거부할 수 있었기 때문이다.
• 초보자 사용자들은 AI 보조 덕분에 성과가 향상되었지만, AI의 정확도에 도달하지 못했으며, 이는 사용자 기본 성능이 낮을 경우 AI의 이점이 제한적임을 시사한다.
• 높은 전문성을 지닌 사용자들은 선택적으로 AI 추천을 따르며 성능을 유지하거나 향상시켰다. 이는 AI 신뢰도 평가 능력이 뛰어나다는 것을 시사한다.
• 사용자가 AI 성능을 자신의 성능과 비교해 평가하는 방식이, AI 추천이 정확도 향상에 기여할지 여부에 중대한 영향을 미쳤다.
• 팀 성과가 최고조에 이르렀을 때는 AI 튜닝이 인간의 강점과 일치했으며, 특히 사용자가 흐르는 혈관을 더 잘 감지할 수 있고 AI가 참음성 결과를 최소화하도록 튜닝된 경우였다.

Figure 2. Stall Catcher interface showing feedback after a decision was made during Stage 1 and 3.