[논문 리뷰] Bending the Automation Bias Curve: A Study of Human and AI-based Decision Making in National Security Contexts

Michael C. Horowitz, Lauren Kahn|arXiv (Cornell University)|2023. 06. 28.

Ethics and Social Impacts of AI인용 수 6

한 줄 요약

이 연구는 9개국의 9,000명의 성인을 대상으로 사전 등록된 설문 조사 실험을 통해 국가안보 분야에서의 인공지능(AI) 지원 의사결정 과정에서의 자동화 편향과 알고리즘 기피 현상을 조사한다. 연구 결과, AI 배경 지식과 AI 의존도 사이에는 비선형 관계가 존재하며, 자동화 편향은 낮은 수준에서 중간 수준의 지식 수준에서 최고조에 이르며, 이는 덴닝-크루거 효과와 유사하다. 반면 높은 AI 숙련도를 가진 개인은 편향과 기피 모두를 줄이며 더 정확한 의사결정을 내리는 것으로 나타났다.

ABSTRACT

Uses of artificial intelligence (AI), especially those powered by machine learning approaches, are growing in sectors and societies around the world. How will AI adoption proceed, especially in the international security realm? Research on automation bias suggests that humans can often be overconfident in AI, whereas research on algorithm aversion shows that, as the stakes of a decision rise, humans become more cautious about trusting algorithms. We theorize about the relationship between background knowledge about AI, trust in AI, and how these interact with other factors to influence the probability of automation bias in the international security context. We test these in a preregistered task identification experiment across a representative sample of 9000 adults in 9 countries with varying levels of AI industries. The results strongly support the theory, especially concerning AI background knowledge. A version of the Dunning Kruger effect appears to be at play, whereby those with the lowest level of experience with AI are slightly more likely to be algorithm-averse, then automation bias occurs at lower levels of knowledge before leveling off as a respondent's AI background reaches the highest levels. Additional results show effects from the task's difficulty, overall AI trust, and whether a human or AI decision aid is described as highly competent or less competent.

연구 동기 및 목표

• 높은 수준의 국가안보 의사결정에서 배경 지식, 신뢰도, 자기 자신에 대한 확신이 자동화 편향과 알고리즘 기피에 어떻게 영향을 미치는지 이해하기 위해.
• 군사적 맥락에서의 의사결정 시 AI 또는 인간 의사결정 보조 기기의 의존도에 영향을 미치는 덴닝-크루거 효과 유사 현상이 존재하는지 테스트하기 위해.
• 작업 난이도, 시스템 능력 수준 기술, 일반적인 AI 신뢰도가 인간-AI 의사결정 동적 관계에 어떻게 영향을 미치는지 분석하기 위해.
• 특히 인간-기계 협업이 생사와 직결되는 결과를 초래할 수 있는 상황에서 국제관계 분야의 AI 도입 패턴에 대한 실증적 증거를 기여하기 위해.
• 심리적 및 경험적 요인이 AI 시스템에 대한 신뢰도와 과도한 의존도에 영향을 미치는 것을 파악하여 정책, 훈련 및 AI 교육에 기여하기 위해.

제안 방법

• AI 산업 및 군사 투자 수준이 다양한 9개국의 대표성 있는 성인 9,000명을 대상으로 사전 등록된 시나리오 기반 설문 조사 실험을 수행하였다.
• 실제 세계의 AI 의사결정 지원 환경을 반영하기 위해 군용 항공기 식별과 관련된 국가안보 시나리오를 사용하였다.
• 의사결정 보조 기기의 신뢰도(높음 vs. 낮음)와 출처(인간 vs. AI)를 조작하기 위해 기기 설명을 다양화하였으며, 의존도와 정확도를 측정하였다.
• AI 배경 능력을 AI 기술에 대한 친밀도, 지식 수준, 직접 경험의 복합 지표로 측정하였다.
• 자기 자신에 대한 과제 수행 능력에 대한 자신감, 일반적인 AI 신뢰도, 자동화에 대한 태도를 수집하여 이들이 중재 효과를 미치는지 평가하였다.
• AI 노출과 의사결정 행동 간의 비선형 관계를 테스트하기 위해 다수준 회귀 모델을 분석에 활용하였다.

Figure 1 : Reliance on automation relative to prior background in AI.

실험 결과

연구 질문

• RQ1 개인의 AI 배경 지식이 국가안보 의사결정에서 자동화 편향 또는 알고리즘 기피를 나타내는 데 영향을 미치는 정도는 어떻게 되는가?
• RQ2 AI 지식과 자동화된 의사결정 보조 기기 의존도 사이의 관계가 덴닝-크루거 효과가 예측한 바와 같이 비선형 패턴을 따르는가?
• RQ3 의사결정 보조 기기의 인식된 능력 수준과 출처(인간 대조 AI)가 높은 수준의 군사적 상황에서 의존도와 의사결정 정확도에 어떻게 영향을 미치는가?
• RQ4 자신의 능력에 대한 자기 자신에 대한 자신감이 AI 또는 인간 의사결정 보조 기기의 과도한 의존 경향을 어느 정도 조절하는가?
• RQ5 일반적인 AI 태도와 기술에 대한 신뢰도가 지식과 능력 수준 신호와 어떻게 상호작용하여 자동화된 시스템에 대한 의존도를 형성하는가?

주요 결과

• AI 배경 지식과 AI 의존도 사이에는 비선형 관계가 존재한다: 자동화 편향은 낮은 수준에서 중간 수준의 AI 숙련도에서 가장 두드러지며, 최고 지식 수준에 이르면 점차 감소한다.
• AI 경험 수준이 가장 낮은 개인은 약간 더 알고리즘 기피 성향을 보였지만, 지식이 증가함에 따라 자동화 편향이 나타나고 최고 지점에 도달한 후 고지식 수준에서 안정화된다.
• 과제 수행 능력에 자신감이 없는 개인은 AI 의사결정 보조 기기의 조언을 받을수록 잘못된 답변를 수정할 가능성이 높았으며, 특히 AI 지식이 높을수록 정확도가 약 50%에서 거의 70%로 상승하였다.
• 일반적인 AI 신뢰도와 인식된 시스템 능력 수준이 높을수록 AI 권고를 따를 가능성이 높아졌으며, 높은 정확도로 기술된 AI 기반 보조 기기는 인간 분석가보다 더 신뢰를 받았다.
• 자신의 능력에 대한 자기 자신에 대한 자신감은 과도한 의존도의 강력한 부정적 예측 변수였다: 정확하다고 믿는 개인은 AI 또는 인간 의사결정 보조 기기의 권고를 따르는 경향이 낮았다.
• AI 숙련도, 자기 자신에 대한 자신감, 시스템 능력 수준의 상호작용은 의사결정 정확도의 유의미한 변동을 설명하였으며, 가장 높은 정확도는 낮은 자신감을 가진 고지식한 개인이 능력 있는 AI 시스템의 조언을 받을 때 관찰되었다.

Figure 2 : Mean Level of Switching Per Treatment Type