[论文解读] An Algorithmic Equity Toolkit for Technology Audits by Community Advocates and Activists

Michael Katell, Meg Young+7 more|arXiv (Cornell University)|Dec 6, 2019

Ethics and Social Impacts of AI参考文献 41被引用 6

一句话总结

本文提出了算法公平性工具包（AEKit），这是一种参与式、以社区为中心的框架，使民权倡导者和社区组织者能够通过易于理解的启发式方法和风险评估工具，评估并挑战算法系统。通过聚焦于亲身经历，并与社区利益相关方进行迭代式共同设计，该工具包提升了算法的可理解性，并支持在公共技术采购中的问责机制，特别是在市政监控条例的背景下。

ABSTRACT

A wave of recent scholarship documenting the discriminatory harms of algorithmic systems has spurred widespread interest in algorithmic accountability and regulation. Yet effective accountability and regulation is stymied by a persistent lack of resources supporting public understanding of algorithms and artificial intelligence. Through interactions with a US-based civil rights organization and their coalition of community organizations, we identify a need for (i) heuristics that aid stakeholders in distinguishing between types of analytic and information systems in lay language, and (ii) risk assessment tools for such systems that begin by making algorithms more legible. The present work delivers a toolkit to achieve these aims. This paper both presents the Algorithmic Equity Toolkit (AEKit) Equity as an artifact, and details how our participatory process shaped its design. Our work fits within human-computer interaction scholarship as a demonstration of the value of HCI methods and approaches to problems in the area of algorithmic transparency and accountability.

研究动机与目标

• 解决算法可理解性危机，即尽管使用了机器学习，社区成员和政策制定者仍未能识别出系统为算法系统。
• 开发实用、通俗易懂的启发式方法，帮助社区倡导者区分不同类型的分析与信息系统。
• 创建风险评估工具，使算法对非技术利益相关方更加透明且可操作。
• 支持在市政技术采购中由社区主导的问责机制，特别是在监控条例的背景下。
• 展示参与式设计在推进社会技术系统中算法透明度与公平性方面的价值。

提出的方法

• 与基于社区的民权组织合作，开展迭代式参与式设计工作坊，共同开发工具包。
• 开发基于流程图的启发式方法，使用通俗语言将系统分类为算法性或非算法性。
• 设计检查清单，用于评估算法风险，包括公平性、透明度和监控影响。
• 创建聚焦于人脸识别技术的互动演示，以说明现实世界中的危害与偏见。
• 通过多元声音小组会议整合利益相关方反馈，反映算法伤害的亲身经历。
• 在保持算法系统概念准确性的前提下，避免过度使用术语，平衡技术准确性与可及性。

实验结果

研究问题

• RQ1 如何使社区倡导者能够识别并评估公共部门技术采购中的算法系统？
• RQ2 哪些设计方法能使非技术利益相关方理解并挑战不透明的算法系统？
• RQ3 参与式设计过程如何促成既反映技术现实又体现社区价值观的工具？
• RQ4 现有监控条例在多大程度上未能规范技术的算法组件？工具如AEKit如何弥补这一缺口？
• RQ5 将复杂算法系统简化为检查清单和流程图存在哪些风险？这些风险如何缓解？

主要发现

• 社区成员和市政人员常常无法识别监控技术为算法系统，即使其使用了机器学习，原因在于缺乏算法素养。
• AEKit通过与公民社会行动者进行参与式共同设计，成功地将复杂的算法概念转化为易于理解且可操作的工具。
• 工具包中的流程图和检查清单组件使社区倡导者能够系统性地评估系统在公平性、透明度和监控风险方面的表现。
• 人脸识别演示有效展示了偏见与危害，但存在过度简化的风险，因其聚焦于准确性而非更广泛的危害，如隐私侵蚀和身份标记。
• 尽管在技术深度与简洁性之间存在平衡挑战，该工具包仍为市政治理中的社区主导型算法问责提供了基础性资源。
• 研究揭示，现有监管框架往往忽视算法组件，凸显了像AEKit这样的工具在弥合可理解性鸿沟方面的需求。