[논문 리뷰] BIASeD: Bringing Irrationality into Automated System Design

Aditya Gulati, Miguel Ángel Lozano외 2명|arXiv (Cornell University)|2022. 10. 01.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 이론적 논문은 인간의 인지 편향을 인공지능 시스템 설계에 통합하여 인간-AI 협업을 향상시키고자 하며, 인지적 인지, 해석, 결정 과정 전반에 걸친 편향에 대한 다섯 단계 분류 체계를 제안한다. 이는 편향을 제거하는 데서 넘어선, 비합리적인 인간 행동을 모델링하고 이해하며 적응하는 인공지능 시스템을 지향하며, 개인 맞춤형 협업을 위한 건설적인 접근을 제안한다.

ABSTRACT

Human perception, memory and decision-making are impacted by tens of cognitive biases and heuristics that influence our actions and decisions. Despite the pervasiveness of such biases, they are generally not leveraged by today's Artificial Intelligence (AI) systems that model human behavior and interact with humans. In this theoretical paper, we claim that the future of human-machine collaboration will entail the development of AI systems that model, understand and possibly replicate human cognitive biases. We propose the need for a research agenda on the interplay between human cognitive biases and Artificial Intelligence. We categorize existing cognitive biases from the perspective of AI systems, identify three broad areas of interest and outline research directions for the design of AI systems that have a better understanding of our own biases.

연구 동기 및 목표

• 현재의 인공지능 시스템에서 인간의 인지 편향 통합이 부족한데도 불구하고, 인간의 의사결정에 광범위하게 영향을 미치고 있음에도 불구하고 이러한 문제를 해결하고자 한다.
• 인간의 의사결정 사이클 단계별로 분류된 인지 편향의 새로운 분류 체계를 제안하고자 한다: 제시, 해석, 가치 부여, 회상, 결정.
• 인공지능 시스템 설계에 적합한 20개의 핵심 인지 편향을 식별하고, 편향 인식 인공지능을 위한 세 가지 연구 방향을 제시하고자 한다.
• 상업적 이득을 위해 편향을 조작하는 데서 벗어나, 신뢰성, 해석 가능성, 협업 향상을 위해 편향을 건설적으로 활용하는 데로의 전환을 제안하고자 한다.
• 인간-인공지능 상호작용에서 인지 편향을 모델링하고 이해하며 완화하기 위한 연구 계획을 수립하고자 한다.

제안 방법

• 인간의 의사결정 사이클에 기반한 다섯 단계 인지 편향 분류 체계를 제안한다: 제시, 해석, 가치 부여, 회상, 결정.
• 이러한 다섯 단계에 걸쳐 20개의 대표적 인지 편향을 분류한다. 예를 들어, 앵커링(제시), 확인 편향(해석), 가용성 편향(회상) 등.
• 세 가지 연구 방향을 제안한다: (1) 편향 인식 설계를 고려한 인간-AI 상호작용, (2) 강건성 향상을 위해 인공지능 알고리즘에 편향 메커니즘 통합, (3) 개인 맞춤형 완화를 위한 편향의 계산 모델링.
• 베이지안 모델링과 생성 모델과 같은 기존 프레임워크를 활용하여 편향의 계산 모델링을 뒷받침한다.
• 인공지능을 활용해 인간 행동을 관찰하고 모델링하여 편향을 자동으로 탐지하고 개인 맞춤형 개입 전략을 제안한다.
• 설득 컴퓨팅과 행동 과학의 통찰을 활용하여 적응형이며 사용자 맞춤형 편향 완화 전략을 설계한다.

실험 결과

연구 질문

• RQ1 인공지능 시스템은 실시간 인간-AI 상호작용에서 인간의 인지 편향을 어떻게 인식하고 적응할 수 있는가?
• RQ2 인간-AI 상호작용은 인간 간 상호작용과 동일한 인지 편향을 얼마나 많이 보이는가?
• RQ3 인간의 인지 편향을 이끌어내는 메커니즘을 의도적으로 인공지능 알고리즘에 통합함으로써 강건성과 효율성을 향상시킬 수 있는가?
• RQ4 다양한 작업과 개인 간의 인지 편향을 통합적으로 모델링할 수 있는 계산 프레임워크는 무엇인가?
• RQ5 사용자가 인지 편향을 줄이기 위해 인식에만 의존하지 않고, 개인 맞춤형이고 설득적인 전략을 활용해 인공지능 시스템이 어떻게 지원할 수 있는가?

주요 결과

• 인지 편향은 인간의 인지, 해석, 의사결정 전 과정에 체계적으로 존재하며, 오류가 아니라 인간 인지의 핵심 요소이다.
• 현재의 인공지능 시스템은 인간의 행동과 의사결정에 결정적인 영향을 미치고 있음에도 불구하고 인간의 인지 편향을 거의 간과하고 있다.
• 제시, 해석, 가치 부여, 회상, 결정의 다섯 단계로 구성된 인지 편향 분류 체계는 인공지능 시스템 설계에 체계적인 프레임워크를 제공한다.
• 논문은 앵커링, 확인 편향, 가용성 편향 등 20개의 핵심 인지 편향을 인공지능 시스템에 통합할 수 있는 주요 후보로 식별한다.
• 세 가지 연구 방향을 제안한다: (1) 편향 인식 인간-AI 상호작용, (2) 인공지능 알고리즘에서 편향 메커니즘 활용, (3) 개인 맞춤형 완화를 위한 계산 모델링.
• 베이지안 모델링과 생성 모델과 같은 기존 접근법은 인지 편향의 계산 모델링에 유망한 기반을 제공하지만, 아직 통합적이고 작업 독립적인 프레임워크는 존재하지 않는다.