[논문 리뷰] Dice in the Black Box: User Experiences with an Inscrutable Algorithm

Aaron Springer, Victoria Hollis외 1명|arXiv (Cornell University)|2018. 12. 07.

Ethics and Social Impacts of AI인용 수 26

한 줄 요약

이 연구는 사용자가 블랙박스 알고리즘에 대해 잘못된 신뢰를 어떻게 형성하는지 탐구한다. 연구자는 사용자 입력에 무작위로 반응하는 가짜 정서 분석 도구를 도입하여, 시스템의 완전한 무작위성에도 불구하고 참가자들이 종종 지능과 신뢰성을 부여하는 것을 관찰했다. 이는 시스템이 투명성 없이 지능을 모방할 경우 인간-AI 상호작용에서 심각한 위험을 초래할 수 있음을 시사하며, 과도한 신뢰를 수정하기 위한 설계 개입이 필요하다고 주장한다.

ABSTRACT

We demonstrate that users may be prone to place an inordinate amount of trust in black box algorithms that are framed as intelligent. We deploy an algorithm that purportedly assesses the positivity and negativity of a users' writing emotional writing. In actuality, the algorithm responds in a random fashion. We qualitatively examine the paths to trust that users followed while testing the system. In light of the ease with which users may trust systems exhibiting "intelligent behavior" we recommend corrective approaches.

연구 동기 및 목표

• 사용자가 실제로 투명하지만 지능적으로 보이는 알고리즘 시스템에 대해 어떻게 신뢰를 형성하는지 조사하기 위해.
• 실제 지능이 없음에도 블랙박스 AI에 대해 과도한 신뢰가 발생하는 심리적 메커니즘을 탐구하기 위해.
• 무작위 응답을 제공하지만 지능을 시뮬레이션하는 시스템과 상호작용할 때 사용자의 행동 및 사고 패턴을 규명하기 위해.
• 실제 AI 응용 프로그램에서 과도한 신뢰를 줄이기 위한 설계 관행을 제안하기 위해, 잘못된 자신감의 근본 원인을 이해하기 위해.

제안 방법

• 사용자 텍스트 입력에 대해 긍정/부정 점수를 무작위로 할당하는 가짜 정서 분석 알고리즘을 구동하였다.
• 사용자들이 이 시스템이 글의 정서적 톤을 탐지할 수 있는 정교한 AI라고 믿도록 유도하였다.
• 신뢰 형성 과정을 추적하기 위해 사용자 상호작용, 구술 반성 및 행동 로그를 포함한 질적 분석을 수행하였다.
• 신뢰 형성의 원인을 분리하기 위해 시스템을 의도적으로 비기능적으로 설계하였다.
• 통제된 상호작용 세션을 통해 사용자 경험을 수집하고, 사고 패턴과 지능 부여의 패턴을 분석하였다.
• 사용자 신뢰에 영향을 미치는 인지적 요인을 분리하기 위해, 실제 알고리즘 성능과 무관하게 지능으로 인식되는 요소의 영향을 분석하기 위해 속임수 설계를 사용하였다.

실험 결과

연구 질문

• RQ1 일관되거나 정확한 응답을 제공하지 않는 시스템에 대해 사용자가 어떻게 신뢰를 정당화하는가?
• RQ2 무작위 시스템을 어떻게 지능적이거나 신뢰할 만하다고 인식하게 되는가?
• RQ3 시스템의 행동에 모순이나 이질성이 있을 때 사용자는 어떻게 이를 정당화하는가?
• RQ4 실제로 비기능적인 시스템에 대해 사용자가 얼마나 많은 기관성 또는 지능을 부여하는가?
• RQ5 투명하지 못한 알고리즘에 대해 신뢰가 형성되는 데 뒤배인 심리적 또는 인지적 메커니즘은 무엇인가?

주요 결과

• 시스템의 완전한 무작위성에도 불구하고 참가자들은 종종 지능과 일관성을 부여하였으며, 이는 알고리즘 출력에 대해 인간화하는 경향이 강하다는 것을 시사한다.
• 참가자들은 종종 무작위 결과를 의미 있는 것으로 해석하며 자신의 정서 상태에 대한 '통찰'을 제공한다고 주장하는 내러티브를 구성하였다.
• 시스템이 일관되거나 관련성이 없는 피드백을 제공하더라도 사용자들은 계속해서 신뢰를 유지하였으며, 이는 지능으로 보이는 시스템에 대해 신뢰를 잃는 데 높은 기준이 있음을 시사한다.
• 지능으로 인식되는 것은 종종 반응 속도, 포맷, 또는 전문 용어의 사용과 같은 표면적 단서에 기반하였다.
• 사용자들은 자신의 자가 평가나 기대와 다를지라도 시스템의 출력을 정당하다고 수용하는 경향을 보였다.
• 이 연구는 AI에 대한 신뢰가 정확성에 의존하는 것이 아니라 지능의 외관에 의존한다는 점을 드러내었으며, 이는 실제 AI 배포에서 심각한 위험을 감안해야 함을 시사한다.