[论文解读] Attesting Biases and Discrimination using Language Semantics

Xavier Ferrer Aran, José M. Such+1 more|arXiv (Cornell University)|Sep 10, 2019

Ethics and Social Impacts of AI被引用 4

一句话总结

本文提出了一种框架，通过分析语言语义来检测和证明人工智能代理中的数字歧视，重点关注人类无意识偏见如何通过语言被继承至自然语言处理（NLP）系统。该研究主张使用语言语料库——包括人类和AI生成的——来识别歧视性模式，其应用包括对黑箱AI系统的审计，以及使代理具备自我意识以减轻偏见。

ABSTRACT

AI agents are increasingly deployed and used to make automated decisions that affect our lives on a daily basis. It is imperative to ensure that these systems embed ethical principles and respect human values. We focus on how we can attest to whether AI agents treat users fairly without discriminating against particular individuals or groups through biases in language. In particular, we discuss human unconscious biases, how they are embedded in language, and how AI systems inherit those biases by learning from and processing human language. Then, we outline a roadmap for future research to better understand and attest problematic AI biases derived from language.

研究动机与目标

• 解决AI系统在自动化决策中影响个人和群体的数字歧视日益严重的问题。
• 研究无意识的人类偏见如何通过训练数据编码进语言，并被NLP系统继承。
• 开发检测AI代理所用语言语料中问题偏见的方法，特别是在黑箱系统中。
• 探索AI生成的文本是否能揭示训练数据偏见的痕迹，从而实现对不透明模型的间接审计。
• 研究AI代理通过语义分析识别并应对自身所学偏见的潜力。

提出的方法

• 利用语言语料库——包括人类撰写和AI生成的——分析指示偏见的语义关联。
• 应用词嵌入分析等技术检测语言模型中隐含关联（例如，性别或种族刻板印象）。
• 借鉴隐式关联测试（IAT）作为概念模型，检测文本中社会类别与属性之间的关联强度。
• 分析AI生成的文本（例如，个人助理的聊天记录）以推断训练数据中存在的偏见，即使无法直接访问数据。
• 通过现实案例（如微软的Tay聊天机器人）研究强化学习系统在与人类用户互动过程中偏见的演变。
• 将数据驱动的NLP方法与基于知识的规范性系统相结合，使AI代理能够识别并回应自身的偏见。

实验结果

研究问题

• RQ1 无意识的人类偏见如何编码进语言并传递给NLP系统？
• RQ2 AI生成的文本语料在多大程度上能反映黑箱AI系统训练数据中的偏见？
• RQ3 对AI代理所用语言的语义分析能否揭示隐藏的歧视性模式或社会规范？
• RQ4 强化学习代理如何通过与人类的互动内化并传播社会偏见？
• RQ5 哪些机制可使AI代理实现自我证明并纠正自身的所学偏见？

主要发现

• 词嵌入模型表现出强烈的性别刻板印象，例如将'leader'与男性名字关联，将'helper'与女性名字关联，证实NLP系统继承了社会偏见。
• 搜索引擎被观察到对黑人姓氏比白人姓氏更可能建议更多逮捕记录，表明语言模型可能编码并放大种族偏见。
• AI生成的文本（如个人助理的聊天记录）即使在数据源未知的情况下，也能反映训练数据中的潜在偏见。
• 像微软的Tay这样的强化学习系统能迅速从用户互动中学习并传播具有冒犯性或歧视性的语言，表明偏见放大的风险。
• 通过语义分析AI生成的语言间接审计黑箱系统并推断训练数据特征具有很强潜力。
• 将数据驱动的NLP与规范性知识系统结合，可能使AI代理识别并减轻自身偏见，为实现自我意识、合乎伦理的AI铺平道路。