[论文解读] An End-To-End Machine Learning Pipeline That Ensures Fairness Policies

Samiulla Shaikh, Harit Vishwakarma+4 more|arXiv (Cornell University)|Oct 18, 2017

Ethics and Social Impacts of AI参考文献 9被引用 8

一句话总结

本文提出了一种端到端的机器学习流水线，通过自动解析自然语言政策、监控数据使用中的违规行为，并将所有活动记录在不可篡改的账本中，确保公平性政策合规。该系统利用自然语言理解技术将政策敏感属性映射到数据字段，通过输入扰动实施公平性测试，并借助区块链支持的日志记录实现可审计性，显著减少了人工合规工作量，提升了机器学习系统的透明度。

ABSTRACT

In consequential real-world applications, machine learning (ML) based systems are expected to provide fair and non-discriminatory decisions on candidates from groups defined by protected attributes such as gender and race. These expectations are set via policies or regulations governing data usage and decision criteria (sometimes explicitly calling out decisions by automated systems). Often, the data creator, the feature engineer, the author of the algorithm and the user of the results are different entities, making the task of ensuring fairness in an end-to-end ML pipeline challenging. Manually understanding the policies and ensuring fairness in opaque ML systems is time-consuming and error-prone, thus necessitating an end-to-end system that can: 1) understand policies written in natural language, 2) alert users to policy violations during data usage, and 3) log each activity performed using the data in an immutable storage so that policy compliance or violation can be proven later. We propose such a system to ensure that data owners and users are always in compliance with fairness policies.

研究动机与目标

• 解决在分布式角色（数据创建者、工程师、用户）中确保机器学习系统公平性所面临的挑战，其中政策合规通常依赖人工操作且易出错。
• 实现对以自然语言编写的公平性政策（如法律或法规文件）的自动解析。
• 在数据访问、特征工程、模型训练和部署过程中，检测并提醒用户政策违规行为。
• 提供对所有数据处理活动的可审计、不可篡改日志，以支持合规性验证和责任追究。
• 支持在白盒和黑盒机器学习系统中进行公平性测试，即使内部表示未知亦可。

提出的方法

• 使用自然语言处理（NLP）技术从非结构化政策文档中提取敏感属性和政策约束。
• 通过共享本体，利用链接的概念层次结构，将政策定义的敏感属性与实际数据字段对齐，处理同义词和跨语言变体。
• 通过扰动敏感特征（如性别、种族）并测量输出偏差来执行公平性测试，其原理与FairML相似，但处于更高抽象层次。
• 不可篡改的日志层使用区块链或类似技术记录所有数据访问和公平性检查结果，以确保可审计性。
• 该流水线支持结构化和非结构化数据，仅在从无显式模式的文本中提取特征时需要人工输入。
• 系统与机器学习工作流集成，在数据处理或模型推理过程中检测到政策违规时，提供实时警报。

实验结果

研究问题

• RQ1 如何自动解析以自然语言表达的公平性政策，并将其映射到机器学习流水线中的数据字段？
• RQ2 在数据访问、特征工程或模型训练过程中，应采用何种机制实现实时违规检测？
• RQ3 在内部表示未知或不透明的黑盒机器学习模型中，如何评估公平性？
• RQ4 不可篡改的日志在支持机器学习系统的可审计性和合规性验证方面有哪些作用？
• RQ5 系统如何处理政策文档与数据字段名称之间在不同语言或本体中的语义和语言差异？

主要发现

• 该系统成功利用NLP和共享本体将政策敏感属性映射到数据字段，即使在文档和数据源中名称不一致的情况下亦可实现。
• 在数据处理过程中生成实时违规警报，使用户可在模型部署前主动纠正问题。
• 通过扰动敏感特征并测量输出变化，该流水线支持在黑盒模型中进行公平性测试，即使内部表示未知亦可实现。
• 不可篡改的日志提供了合规性的可验证证据，使数据所有者能够追踪数据使用情况，用户也能证明其遵守了公平性政策。
• 该架构显著减少了政策解析和合规性评估中的手动工作量，为行业范围内的标准化提供了可扩展的基础。
• 通过COMPAS再犯风险数据集的案例研究验证了该方法，成功检测到自动化决策中的性别偏见和政策违规。