[论文解读] Extending the Machine Learning Abstraction Boundary: A Complex Systems Approach to Incorporate Societal Context

Donald Martin, Vinodkumar Prabhakaran+3 more|arXiv (Cornell University)|Jun 17, 2020

Complex Systems and Decision Making参考文献 94被引用 15

一句话总结

本文通过将复杂适应系统（CAS）理论、协作因果理论构建（CCTF）和基于社区的系统动力学（CBSD）相结合，将机器学习公平性研究从算法偏见扩展至社会背景。该研究提出一种结构化、参与式的框架，将包括边缘化群体在内的多元利益相关者视角嵌入机器学习产品设计中，从而将公平性的抽象边界扩展至涵盖社会技术现实，推动更具伦理性和包容性的系统开发。

ABSTRACT

Machine learning (ML) fairness research tends to focus primarily on mathematically-based interventions on often opaque algorithms or models and/or their immediate inputs and outputs. Such oversimplified mathematical models abstract away the underlying societal context where ML models are conceived, developed, and ultimately deployed. As fairness itself is a socially constructed concept that originates from that societal context along with the model inputs and the models themselves, a lack of an in-depth understanding of societal context can easily undermine the pursuit of ML fairness. In this paper, we outline three new tools to improve the comprehension, identification and representation of societal context. First, we propose a complex adaptive systems (CAS) based model and definition of societal context that will help researchers and product developers to expand the abstraction boundary of ML fairness work to include societal context. Second, we introduce collaborative causal theory formation (CCTF) as a key capability for establishing a sociotechnical frame that incorporates diverse mental models and associated causal theories in modeling the problem and solution space for ML-based products. Finally, we identify community based system dynamics (CBSD) as a powerful, transparent and rigorous approach for practicing CCTF during all phases of the ML product development process. We conclude with a discussion of how these systems theoretic approaches to understand the societal context within which sociotechnical systems are embedded can improve the development of fair and inclusive ML-based products.

研究动机与目标

• 弥合机器学习公平性研究中忽视社会背景的空白，避免产生伦理风险的系统。
• 将社会背景重新定义为复杂适应系统（CAS）中的动态、社会文化层面，以更深入理解其在机器学习部署中的作用。
• 开发协作因果理论构建（CCTF）作为将多元利益相关者心智模型和因果理论整合进机器学习产品开发的方法。
• 推广基于社区的系统动力学（CBSD）作为一种透明、严谨且参与式的工具，用于在机器学习开发各阶段建模社会背景。
• 通过将边缘化社区作为积极合作者而非仅数据来源，推动公平且包容的机器学习发展，共同塑造问题与解决方案空间。

提出的方法

• 提出基于CAS的社会背景模型，以定义和结构化机器学习系统运行的社会技术环境。
• 引入协作因果理论构建（CCTF）作为与多元利益相关者（尤其是边缘化群体）共同创建因果模型的过程。
• 采用基于社区的系统动力学（CBSD）作为可视化与分析方法，利用存量-流量图和因果回路图建模社会背景中的因果关系。
• 将CBSD整合进产品开发迭代周期中，在机器学习模型设计开始前生成关于问题结构的动态、共享假设。
• 通过CBSD使社会因素内生化于机器学习系统设计，确保其影响架构选择与数据收集策略。
• 强调伦理保障措施，防止对社区数据的剥削，倡导以社区合作取代数据提取。

实验结果

研究问题

• RQ1 如何正式建模并整合社会背景于机器学习系统设计中，以提升公平性？
• RQ2 哪些机制能够使多元利益相关者（尤其是边缘化社区）共同定义受机器学习影响问题的因果结构？
• RQ3 协作因果理论构建（CCTF）如何在现实世界的机器学习产品开发流程中实现？
• RQ4 基于社区的系统动力学（CBSD）在哪些方面可增强机器学习公平性工作的透明度、严谨性与包容性？
• RQ5 为确保社区观点在模型开发中不被剥削，需要哪些伦理保障措施？

主要发现

• 本文建立了一个基于CAS的框架，将社会背景重新定义为动态、适应性的系统层级，实现其在机器学习设计中的更深层次整合。
• 协作因果理论构建（CCTF）实现了开发者与利益相关者之间共享因果模型的共同创建，提升了问题界定的包容性与准确性。
• 基于社区的系统动力学（CBSD）提供了一种透明、可视化且迭代的复杂社会动态建模方法，支持在开发各阶段实现利益相关者参与。
• 将CBSD整合进产品构思迭代周期，可生成动态、基于证据的因果假设，并作为产品规格的一部分，从而扩展了机器学习公平性的抽象边界。
• 该方法将系统设计从依赖设计者偏见和现有数据集，转变为基于社区验证的因果结构。
• 该框架支持边缘化社区的长期能力建设，使其能够通过系统思维主动建模并应对社会不平等问题。