[论文解读] A Broader View on Bias in Automated Decision-Making: Reflecting on Epistemology and Dynamics

Roel Dobbe, Sarah Dean+2 more|arXiv (Cornell University)|Jul 2, 2018

Ethics and Social Impacts of AI参考文献 3被引用 35

一句话总结

本文通过整合认识论反思与动态反馈分析，提出了一套更广泛的框架，以理解自动化决策中的偏见。它认为，技术性偏见与涌现性偏见——根植于知识的形式化方式以及系统与环境的互动方式——需要通过价值敏感设计、自我反思和跨学科协作，才能超越以数据为中心的方法，确保公平性与问责性。

ABSTRACT

Machine learning (ML) is increasingly deployed in real world contexts, supplying actionable insights and forming the basis of automated decision-making systems. While issues resulting from biases pre-existing in training data have been at the center of the fairness debate, these systems are also affected by technical and emergent biases, which often arise as context-specific artifacts of implementation. This position paper interprets technical bias as an epistemological problem and emergent bias as a dynamical feedback phenomenon. In order to stimulate debate on how to change machine learning practice to effectively address these issues, we explore this broader view on bias, stress the need to reflect on epistemology, and point to value-sensitive design methodologies to revisit the design and implementation process of automated decision-making systems.

研究动机与目标

• 超越机器学习中以数据为中心的偏见视角，将技术性偏见与涌现性偏见视为系统性问题加以应对。
• 强调认识论在塑造机器学习从业者如何形式化问题及表征人类现象方面的作用。
• 强调反馈动态在现实部署中强化或放大偏见方面的重要性。
• 倡导价值敏感设计与批判性自我反思作为负责任人工智能开发中的关键实践。
• 激发人工智能、社会科学与人文学科之间的跨学科对话，以在系统设计中嵌入伦理价值。

提出的方法

• 将技术性偏见解释为一种认识论问题，源于将定性、连续或非正式概念形式化为计算模型。
• 将涌现性偏见分析为一种动态反馈现象，其中系统输出影响未来输入，从而强化既有的不平等。
• 借鉴价值敏感设计方法论，将利益相关者的价值嵌入机器学习系统的开发与实现过程。
• 提出三项原则：开展公平性审计、承认位置性对认识论的影响，以及通过利益相关者参与实施价值敏感设计。
• 鼓励从业者进行自我反思，以认识个人与职业背景如何影响建模选择与偏见。
• 利用系统理论与闭环辨识的洞见，建模社会技术反馈机制，尽管承认将工程模型应用于社会情境存在局限性。

实验结果

研究问题

• RQ1 技术性偏见在多大程度上源于数据形式化与模型设计中嵌入的认识论假设？
• RQ2 在部署的机器学习系统中，反馈回路在多大程度上会随时间推移放大或强化社会不平等？
• RQ3 如何在机器学习中实现价值敏感设计，以主动嵌入公平性与问责性？
• RQ4 研究者或从业者的位置性在多大程度上影响了机器学习系统认识论的形成？
• RQ5 系统理论与反馈建模如何有助于设计更加透明和稳健的自动化决策系统？

主要发现

• 技术性偏见不仅源于数据，还源于对人类现象进行量化、离散化与形式化时的认识论选择，例如使用“点赞”而非有序评分。
• 涌现性偏见源于反馈回路，其中系统输出影响未来数据，例如推荐系统中的用户行为，导致边缘化现象的自我强化循环。
• 表征性伤害——即模型强化有害的社会刻板印象或身份认同——在机器学习中常被忽视，尽管其对社会具有长期影响。
• 本文认为，仅靠技术手段无法确保公平性；必须持续进行自我反思，并与领域专家及受影响社区保持互动。
• 价值敏感设计与公平性审计对于识别和缓解静态数据分析无法捕捉的偏见至关重要。
• 位置性塑造认识论：从业者背景与训练影响问题的界定与形式化方式，使自我反思成为负责任人工智能的必要组成部分。