[论文解读] Assessing and Addressing Algorithmic Bias - But Before We Get There

Jean Garcia-Gathright, Aaron Springer+1 more|arXiv (Cornell University)|Sep 10, 2018

Ethics and Social Impacts of AISocial Sciences参考文献 8被引用 20

一句话总结

本文提出了一套实用的、基于检查清单的框架，帮助工业团队识别并优先处理算法和数据偏差，将零散的学术文献转化为可操作、团队友好的流程。该框架强调通过输入数据、算法决策和结果评估实现早期偏差检测，涵盖语音接口等领域的特定挑战，以及优先级排序、MVP开发和技术债务等实际障碍，为现实世界中的实施提供一种结构化但可灵活调整的方法。

ABSTRACT

Algorithmic and data bias are gaining attention as a pressing issue in popular press - and rightly so. However, beyond these calls to action, standard processes and tools for practitioners do not readily exist to assess and address unfair algorithmic and data biases. The literature is relatively scattered and the needed interdisciplinary approach means that very different communities are working on the topic. We here provide a number of challenges encountered in assessing and addressing algorithmic and data bias in practice. We describe an early approach that attempts to translate the literature into processes for (production) teams wanting to assess both intended data and algorithm characteristics and unintended, unfair biases.

研究动机与目标

• 弥合学术研究中关于算法偏差与工业团队实际应用之间的差距。
• 将关于数据和算法偏差的碎片化、跨学科文献整合为面向实践者的统一、可操作的流程。
• 开发一种轻量化、可适应团队的框架，用于评估数据、模型和结果中的有意与无意偏差。
• 突出特定领域挑战，尤其是语音接口中偏差放大现象普遍且缓解复杂的领域。
• 应对实际障碍，如与产品路线图竞争的优先级排序、MVP开发，以及与偏差相关的长期技术债务。

提出的方法

• 将现有的偏差分类体系（如 Baeza-Yates、Olteanu）改编为针对数据、算法和结果特征的结构化、基于检查清单的评估工具。
• 将偏差划分为输入数据、算法决策和结果差异三类，每类均提出关于影响和缓解措施的具体问题。
• 根据利益相关者影响、普遍性和复合效应潜力对偏差目标进行优先级排序，而非一视同仁地对待所有偏差。
• 引入基于语音接口案例研究的领域特定分析，说明偏差在现实系统中的表现形式，特别是在语音识别和推荐系统中。
• 提出最小可行产品（MVP）方法以实现偏差缓解，支持早期交付并留有迭代改进的空间。
• 倡导文化和组织变革，将偏差意识早期嵌入开发生命周期，以减少技术债务。

实验结果

研究问题

• RQ1 如何将关于算法和数据偏差的学术文献转化为工业实践者可操作的团队级流程？
• RQ2 在现实世界机器学习系统中，识别和优先处理偏差的关键挑战是什么，特别是在语音接口等特定领域？
• RQ3 如何在不干扰产品路线图或增加技术债务的前提下，将偏差缓解整合到敏捷开发中？
• RQ4 在语音识别系统中，真实情况数据在多大程度上可用于区分算法偏差与自然的人口统计差异？
• RQ5 组织文化与多样性在系统设计和扩展过程中主动预防偏差方面发挥什么作用？

主要发现

• 基于检查清单的框架能有效将复杂的学术分类体系转化为数据、算法和结果偏差评估的可操作步骤。
• 偏差优先级排序必须考虑利益相关者影响、普遍性及复合效应，而不仅仅是偏差的存在。
• 语音接口因难以识别地区口音和方言而放大偏差，常导致误解（例如，'You Da Baddest' 被转录为 'You’re the baddest'）。
• 通过用户意图和转录不匹配的真实情况数据，有助于将语音识别中的算法偏差与人口统计差异区分开来。
• 实际挑战如产品优先级冲突和技术债务会阻碍偏差缓解，需要与业务目标对齐的表述方式和文化转变。
• 通过组织教育和多元化招聘早期融入偏差意识，可预防系统设计阶段积累与偏差相关的技术债务。