[论文解读] BIASeD: Bringing Irrationality into Automated System Design

Aditya Gulati, Miguel Ángel Lozano+2 more|arXiv (Cornell University)|Oct 1, 2022

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

这篇理论性论文提出将人类认知偏见整合到人工智能系统设计中，以增强人机协作，提出一个涵盖感知、解释和决策阶段的五阶段偏见分类法。该研究主张开发能够建模、理解并适应人类非理性行为的人工智能系统——超越偏见缓解，实现建设性、个性化的协作。

ABSTRACT

Human perception, memory and decision-making are impacted by tens of cognitive biases and heuristics that influence our actions and decisions. Despite the pervasiveness of such biases, they are generally not leveraged by today's Artificial Intelligence (AI) systems that model human behavior and interact with humans. In this theoretical paper, we claim that the future of human-machine collaboration will entail the development of AI systems that model, understand and possibly replicate human cognitive biases. We propose the need for a research agenda on the interplay between human cognitive biases and Artificial Intelligence. We categorize existing cognitive biases from the perspective of AI systems, identify three broad areas of interest and outline research directions for the design of AI systems that have a better understanding of our own biases.

研究动机与目标

• 解决当前人工智能系统中缺乏整合人类认知偏见的问题，尽管这些偏见在人类决策中具有广泛影响。
• 提出一个基于人类决策周期各阶段（呈现、解释、价值归因、回忆和决策）的认知偏见新分类法。
• 识别20种适合人工智能系统设计的认知偏见，并提出三种偏见感知人工智能的研究方向。
• 将对偏见的利用从商业利益驱动的操纵，转向在人工智能中建设性地运用偏见，以提升信任度、可解释性与协作性。
• 建立一个用于建模、理解和缓解人机交互中认知偏见的研究议程。

提出的方法

• 基于人类决策周期提出一个五阶段认知偏见分类法：呈现、解释、价值归因、回忆和决策。
• 将20种代表性认知偏见分类到这五个阶段中，例如锚定效应（呈现）、确认偏误（解释）和可得性偏误（回忆）。
• 提出三个研究方向：(1) 偏见感知的人机交互设计，(2) 在人工智能算法中嵌入偏见机制以提升鲁棒性，(3) 通过计算建模实现个性化偏见缓解。
• 借鉴现有框架（如贝叶斯建模和生成模型）以指导偏见的计算建模。
• 提出利用人工智能观察并建模人类行为，以自动检测偏见并提出个性化干预建议。
• 借鉴说服性计算和行为科学的洞见，设计自适应、用户定制的偏见缓解策略。

实验结果

研究问题

• RQ1 人工智能系统如何被设计为在实时人机交互中识别并适应人类认知偏见？
• RQ2 人机交互在多大程度上表现出与人际互动相同的认知偏见？
• RQ3 能否有意识地将人类认知偏见的机制嵌入人工智能算法中，以提升鲁棒性和效率？
• RQ4 什么样的统一计算框架能够跨多样化任务和个体建模认知偏见，以实现个性化缓解？
• RQ5 人工智能系统如何在不完全依赖意识的前提下，通过个性化、说服性策略帮助用户减少偏见？

主要发现

• 认知偏见系统性地存在于人类感知、解释和决策的所有阶段，它们并非仅仅是错误，而是人类认知的根本组成部分。
• 尽管认知偏见在塑造人类行为和决策中起着关键作用，当前的人工智能系统在很大程度上忽略了这些偏见。
• 五阶段偏见分类法（呈现、解释、价值归因、回忆和决策）为人机系统设计提供了结构化框架。
• 本文识别出20种关键认知偏见（如锚定效应、确认偏误、可得性偏误）作为整合进人工智能系统的优先候选。
• 提出了三个研究方向：(1) 偏见感知的人机交互，(2) 在人工智能算法中利用偏见机制，(3) 通过计算建模实现个性化缓解。
• 现有方法如贝叶斯建模和生成模型为认知偏见的计算建模提供了有前景的基础，但目前尚无统一的、与任务无关的框架。