[논문 리뷰] To Err Is AI! Debugging as an Intervention to Facilitate Appropriate Reliance on AI Systems

Gaole He, Abri Bharos외 1명|arXiv (Cornell University)|2024. 09. 22.

Ethics and Social Impacts of AI인용 수 1

한 줄 요약

이 연구는 AI 시스템을 디버깅하는 것을 훈련 간섭 조치로 삼을 경우 사용자가 AI에 대한 신뢰를 보다 적절히 校정할 수 있는지 여부를 조사한다. 특히 분포 외부 설정에서의 상황을 고려할 때, 디버깅이 비판적 평가와 적절한 의존을 증진시킬 것이라는 가설과는 달리, 초기에 AI의 약점을 노출시킴으로써 사용자의 의존도가 떨어지는 결과를 보였으며, 이는 AI의 한계를 어떻게 공개할 것인지에 대한 경계가 필요함을 시사한다.

ABSTRACT

Powerful predictive AI systems have demonstrated great potential in augmenting human decision making. Recent empirical work has argued that the vision for optimal human-AI collaboration requires 'appropriate reliance' of humans on AI systems. However, accurately estimating the trustworthiness of AI advice at the instance level is quite challenging, especially in the absence of performance feedback pertaining to the AI system. In practice, the performance disparity of machine learning models on out-of-distribution data makes the dataset-specific performance feedback unreliable in human-AI collaboration. Inspired by existing literature on critical thinking and a critical mindset, we propose the use of debugging an AI system as an intervention to foster appropriate reliance. In this paper, we explore whether a critical evaluation of AI performance within a debugging setting can better calibrate users' assessment of an AI system and lead to more appropriate reliance. Through a quantitative empirical study (N = 234), we found that our proposed debugging intervention does not work as expected in facilitating appropriate reliance. Instead, we observe a decrease in reliance on the AI system after the intervention -- potentially resulting from an early exposure to the AI system's weakness. We explore the dynamics of user confidence and user estimation of AI trustworthiness across groups with different performance levels to help explain how inappropriate reliance patterns occur. Our findings have important implications for designing effective interventions to facilitate appropriate reliance and better human-AI collaboration.

연구 동기 및 목표

• 디버깅을 통해 AI 성능에 대한 비판적 평가를 촉진시킴으로써 적절한 의존을 유도할 수 있는지 조사하기 위해.
• 디버깅이 사용자가 AI 성능을 인스턴스 수준 및 글로벌 수준에서 평가하는 방식에 어떤 영향을 미치는지 평가하기 위해.
• 특히 불확실성 및 분포 외부 조건에서 디버깅이 사용자의 의존 패턴에 어떤 영향을 미치는지 검토하기 위해.
• 특히 덴닝-크루거 효과를 포함한 인지 편향이 사용자의 AI에 대한 신뢰와 의존에 어떻게 영향을 미치는지 탐색하기 위해.
• 균형 잡힌, 맥락 민감한 인간-AI 협업을 지원하는 간섭 조치의 설계 함의를 규명하기 위해.

제안 방법

• 234명의 참가자를 대상으로 한 정량적 실험 연구를 수행하였으며, 인터넷 기반의 공동 작업 플랫폼(Prolific)을 활용해 인간-AI 의사결정 과정을 평가하였다.
• 사용자가 텍스트 분류 작업에서 AI 예측 결과를 점검하고 수정하도록 하는 디버깅 간섭 조치를 구현하였다.
• 통제된 설계를 통해 두 조건(디버깅 간섭 조치 유무)을 비교하여 의존도 및 성능 평가 능력을 분석하였다.
• 간섭 조치 이전 및 이후에 사용자 자신감 평가, AI 동의/이견 패턴, 성능 평가를 수집하였다.
• 성능 수준이 다른 사용자 집단 간의 자신감 동역학 및 평가 정확도를 분석하여 편향 패턴을 탐지하였다.
• 작업 설계 및 참가자 동기의 영향으로 인한 왜곡 가능성을 평가하기 위해 인지 편향 체크리스트를 적용하였다.

실험 결과

연구 질문

• RQ1 RQ1: 디버깅 간섭 조치는 사용자의 AI 성능 평가 능력에 인스턴스 수준과 글로벌 수준에서 어떤 영향을 미치는가?
• RQ2 RQ2: 디버깅 간섭 조치는 사용자의 AI 조언에 대한 의존도에 어떤 영향을 미치는가?
• RQ3 RQ3: 다양한 능력 수준을 가진 사용자 집단 간에 자신감 동역학과 성능 평가가 어떻게 다름을 보이는가?
• RQ4 RQ4: 과신 또는 AI 성능을 과소평가하는 등의 인지 편향이 부적절한 의존도, 특히 유용한 상황에서 AI를 사용하지 않는 현상에 얼마나 기여하는가?

주요 결과

• 디버깅 간섭 조치는 가설과는 반대로 사용자가 AI 시스템에 대한 의존도를 유의미하게 감소시켰다.
• 디버깅 작업에 노출된 참가자들은 초기에 AI의 오류를 접함으로써 AI에 대한 부정적인 인식을 형성했으며, 이는 신뢰도 감소로 이어졌다.
• 능력이 낮은 사용자들은 AI 성능을 과소평가하고, 자신감 있는 정확한 결정을 더 적게 내려, 잘못된 판단에 기반한 부족한 의존도를 보였다.
• AI가 사용자의 初기 결정과 이견을 제기할 경우, 사용자의 자신감이 유의미하게 감소했으며, 이는 이견이 자기 확신을 약화시킨다는 것을 시사한다.
• AI에게 결정 권한을 위임한 사용자는 자신의 결정을 고집하는 사용자보다 더 높은 자신감을 보였으며, 이는 일부 맥락에서 AI에 대한 과도한 의존의 위험을 시사한다.
• 연구는 특히 자기 능력에 대한 과신과 AI 능력에 대한 과소평가라는 인지 편향이 부적절한 의존 패턴, 특히 유용한 상황에서 AI를 사용하지 않는 현상에 기여함을 드러냈다.