[论文解读] Fair Data Integration.

Sainyam Galhotra, Karthikeyan Shanmugam+2 more|arXiv (Cornell University)|Jun 10, 2020

Explainable Artificial Intelligence (XAI)参考文献 24被引用 4

一句话总结

本文提出了一种基于因果干预的方法，通过识别在保持预测性能的同时消除偏见的最小特征集，以确保数据集成中的公平性。该方法利用条件独立性检验和分组测试，实现了次线性复杂度，并在无需预设结构因果模型的情况下保证了干预公平性。

ABSTRACT

The use of machine learning (ML) in high-stakes societal decisions has encouraged the consideration of fairness throughout the ML lifecycle. Although data integration is one of the primary steps to generate high quality training data, most of the fairness literature ignores this stage. In this work, we consider fairness in the integration component of data management, aiming to identify features that improve prediction without adding any bias to the dataset. We work under the causal interventional fairness paradigm. Without requiring the underlying structural causal model a priori, we propose an approach to identify a sub-collection of features that ensure the fairness of the dataset by performing conditional independence tests between different subsets of features. We use group testing to improve the complexity of the approach. We theoretically prove the correctness of the proposed algorithm to identify features that ensure interventional fairness and show that sub-linear conditional independence tests are sufficient to identify these variables. A detailed empirical evaluation is performed on real-world datasets to demonstrate the efficacy and efficiency of our technique.

研究动机与目标

• 解决机器学习生命周期中公平性感知数据集成方面的空白。
• 识别能够提升模型预测性能而不向数据集引入偏见的特征。
• 在无需预设结构因果模型的情况下，确保数据集成中的干预公平性。
• 通过分组测试技术降低公平性识别的计算复杂度。

提出的方法

• 该方法采用条件独立性检验，评估在干预条件下特征子集与结果变量之间的关系。
• 利用因果干预公平性框架，确定哪些特征可以安全地包含而不引入偏见。
• 应用分组测试以高效识别确保公平性的最小特征集，从而减少所需的条件独立性检验次数。
• 该算法不假设已知的结构因果模型，仅依赖观测数据和统计检验。
• 理论分析证明，次线性数量的条件独立性检验足以识别保持公平性的特征。
• 该方法设计为既正确又高效，平衡了公平性与预测性能。

实验结果

研究问题

• RQ1 在数据集中，哪些特征可以在不引入偏见的同时被集成，同时仍保持预测效用？
• RQ2 在不了解底层结构因果模型的情况下，如何确保数据集成中的公平性？
• RQ3 是否可以减少条件独立性检验的次数，同时保持识别公平特征的正确性？
• RQ4 识别数据集成中保持公平性的特征的理论复杂度边界是什么？
• RQ5 与现有公平性感知数据集成技术相比，所提出方法在效率和有效性方面表现如何？

主要发现

• 所提出的算法正确识别出在无需结构因果模型的情况下确保干预公平性的特征。
• 理论上，次线性数量的条件独立性检验足以识别保持公平性的特征，显著降低了计算成本。
• 分组测试的集成提高了方法的效率，使大规模真实数据集的公平性分析成为可能。
• 在真实数据集上的实证评估证实了该方法在保持公平性的同时支持高质量训练数据的有效性。
• 该方法在公平性与预测性能之间实现了良好平衡，展示了在真实世界数据集成流程中的实际可行性。