[논문 리뷰] Beyond Recommender: An Exploratory Study of the Effects of Different AI Roles in AI-Assisted Decision Making

Shuai Ma, Chenyi Zhang외 3명|arXiv (Cornell University)|2024. 03. 04.

Impact of AI and Big Data on Business and Society인용 수 4

한 줄 요약

이 연구는 다양한 AI 역할(추천자, 분석가, 반대자)이 AI 성능 수준에 따라 인간의 의사결정에 어떻게 영향을 미치는지 조사한다. 결과적으로 AI 성능이 높을 때(90%) 추천자 역할이 뛰어난 성과를 보였지만, AI 성능이 낮을 때(65%) 분석가 역할이 추천자 역할을 크게 앞서며, 더 나은 작업 성과, 더 적절한 의존도, 향상된 사용자 경험을 이끌어냈다.

ABSTRACT

Artificial Intelligence (AI) is increasingly employed in various decision-making tasks, typically as a Recommender, providing recommendations that the AI deems correct. However, recent studies suggest this may diminish human analytical thinking and lead to humans' inappropriate reliance on AI, impairing the synergy in human-AI teams. In contrast, human advisors in group decision-making perform various roles, such as analyzing alternative options or criticizing decision-makers to encourage their critical thinking. This diversity of roles has not yet been empirically explored in AI assistance. In this paper, we examine three AI roles: Recommender, Analyzer, and Devil's Advocate, and evaluate their effects across two AI performance levels. Our results show each role's distinct strengths and limitations in task performance, reliance appropriateness, and user experience. Notably, the Recommender role is not always the most effective, especially if the AI performance level is low, the Analyzer role may be preferable. These insights offer valuable implications for designing AI assistants with adaptive functional roles according to different situations.

연구 동기 및 목표

• 단순한 추천을 넘어서 AI 역할을 변화시켜 인간-AI 의사결정 협업의 시너지를 향상시킬 수 있는지 조사하기.
• AI가 단지 추천자로만 기능할 경우 과도한 의존과 분석적 사고 감소 문제를 해결하기.
• 다양한 AI 역할의 효과가 인간-AI 협업에서 AI 성능 수준에 의해 어떻게 조절되는지 조사하기.
• AI 역할이 AI 지원 의사결정에서 작업 성과, 의존도 적절성, 사용자 경험에 미치는 영향을 탐구하기.
• 상황, 성능, 사용자 필요에 기반한 적응형 AI 역할 설계에 대한 실증적 근거 제공하기.

제안 방법

• Prolific을 통해 모집한 180명의 참가자를 대상으로 제어된 사용자 연구를 실시하여 뉴스 기사를 비즈니스, 엔터테인먼트, 정치로 분류하도록 하였다.
• 세 가지 AI 역할을 구현: 추천자(추천 + 설명 제공), 분석가(각 선택지의 장단점 제시), 반대자(사용자의 초도 선택에 도전).
• 두 가지 AI 성능 수준을 평가: 저성능(65% 정확도)과 고성능(90% 정확도)으로 총 6개의 실험 조건(3개 역할 × 2개 성능 수준)을 설정하였다.
• 작업 성과, 의존도 적절성(결정 후 자신감과 정답과의 일치도 측정), 사용자 경험(만족도, 유용성, 신뢰도)을 측정하였다.
• 혼합 방법 분석을 사용: 성과 및 의존도 측정을 위한 정량적 지표와 사용자 경험 통찰을 위한 정성적 피드백을 통합 분석하였다.
• AI 역할과 성능 수준 간의 상호작용을 분석하고, 통계적 검증을 통해 조건 간 차이를 검증하였다.

Figure 1. The interfaces of three AI roles. (a) Recommender: In this interface, the AI directly presents a recommendation along with its explanation. (b) Analyzer: The AI assists in evaluating the pros and cons of each option. By default, it displays an overview of all options and highlights two hig

실험 결과

연구 질문

• RQ1 다양한 AI 보조자 역할은 AI 지원 의사결정에서 인간의 작업 성과에 어떻게 영향을 미치는가?
• RQ2 다양한 AI 보조자 역할은 인간의 AI 의존도 적절성에 어떻게 영향을 미치는가?
• RQ3 다양한 AI 보조자 역할은 사용자 경험(만족도, 신뢰도, 유용성 인식)에 어떻게 영향을 미치는가?
• RQ4 AI 성능 수준은 다양한 AI 역할의 효과성을 어떻게 조절하는가?
• RQ5 각 AI 역할에 대한 사용자 행동 패턴(예: 참여도, 저항)의 근본적 요소는 무엇인가?

주요 결과

• AI 성능이 높을 때(90% 정확도), 추천자 역할이 가장 높은 작업 성과를 보였으며, 참가자 85%가 올바른 분류를 선택하였다.
• 저성능 AI(65% 정확도)일 경우, 분석가 역할이 추천자 역할을 유의미하게 앞섰으며, 분석가의 정확도는 78%로 측정되었고, 추천자 역할은 69%였다.
• 분석가 역할은 두 성능 수준에서 모두 더 적절한 의존도를 이끌어냈으며, 특히 AI가 정확도가 낮을 때 과도한 의존을 줄이는 데 기여했다.
• AI 성능이 낮을 때 사용자들은 분석가 역할에 대해 더 높은 만족도, 유용성, 신뢰도를 보였으며, 이는 낮은 신뢰도 상황에서 더 나은 사용자 경험을 제공함을 시사한다.
• 반대자 역할은 AI 성능에 관계없이 일관되게 낮은 참여도와 높은 거부감을 보였으며, 이는 사용자들이 AI의 비판적 도전에 저항하는 경향이 있음을 시사한다.
• AI 성능이 높을 경우, 사용자들은 분석가의 근거 기반 분석에 더 많이 참여하였으며, 이는 고품질 AI가 깊이 있는 인지 처리를 지원함을 의미한다.

Figure 2. The task accuracy in three AI role conditions. (a) When AI performance is high. (b) When AI performance is low. Error bars represent standard error. (+: $p$ ¡0.1, *: $p$ ¡0.05, **: $p$ ¡0.01, ***: $p$ ¡0.001)