[论文解读] Data Cleaning for Accurate, Fair, and Robust Models: A Big Data - AI Integration Approach

Ki Hyun Tae, Yuji Roh+3 more|arXiv (Cornell University)|Apr 22, 2019

Data Quality and Management被引用 8

一句话总结

本文提出 MLClean，一种统一框架，整合了数据清洗、不公平性缓解与数据净化，以提升机器学习模型的准确性、公平性与鲁棒性。通过紧密耦合实体消歧、异常检测与重加权技术，MLClean 在 Census 与 German Credit 数据集上实现了比串行处理快 2.2–2.5 倍的运行速度，性能更优。

ABSTRACT

The wide use of machine learning is fundamentally changing the software development paradigm (a.k.a. Software 2.0) where data becomes a first-class citizen, on par with code. As machine learning is used in sensitive applications, it becomes imperative that the trained model is accurate, fair, and robust to attacks. While many techniques have been proposed to improve the model training process (in-processing approach) or the trained model itself (post-processing), we argue that the most effective method is to clean the root cause of error: the data the model is trained on (pre-processing). Historically, there are at least three research communities that have been separately studying this problem: data management, machine learning (model fairness), and security. Although a significant amount of research has been done by each community, ultimately the same datasets must be preprocessed, and there is little understanding how the techniques relate to each other and can possibly be integrated. We contend that it is time to extend the notion of data cleaning for modern machine learning needs. We identify dependencies among the data preprocessing techniques and propose MLClean, a unified data cleaning framework that integrates the techniques and helps train accurate and fair models. This work is part of a broader trend of Big data -- Artificial Intelligence (AI) integration.

研究动机与目标

• 应对高风险应用场景中对准确、公平与鲁棒机器学习模型日益增长的需求。
• 识别并解决来自数据管理、公平性与安全领域社区的数据预处理技术之间的依赖关系。
• 将传统数据清洗、不公平性缓解与数据净化统一为单一、可扩展的框架。
• 证明对数据本身进行预处理比事后模型修正更能有效保障模型质量。
• 实现端到端的数据准备，支持任意机器学习模型，且无需访问模型内部结构。

提出的方法

• 整合三种预处理技术：实体消歧（用于重复检测）、异常检测（用于对抗性样本）与样本重加权（用于公平性）。
• 使用 k-means 聚类在应用异常检测前对相似数据点进行分组，以降低计算成本。
• 对实体消歧采用成对比较，以合并如 'Joe' 与 'Joseph' 等同年龄的重复条目。
• 采用样本重加权调整训练样本权重，以提升模型预测中的群体均等性。
• 将模型视为黑箱，确保与任意模型架构兼容，且无需访问其内部结构。
• 在统一流水线中按序执行预处理步骤，使数据清洗与数据净化紧密耦合，以减少冗余计算。

实验结果

研究问题

• RQ1 在真实世界数据集中，数据清洗、不公平性缓解与数据净化技术之间存在何种依赖关系？
• RQ2 统一框架能否有效整合传统数据清洗、不公平性缓解与对抗性数据防御？
• RQ3 在集成预处理中，处理顺序对模型准确性、公平性与运行时间有何影响？
• RQ4 预处理步骤的紧密耦合如何在不牺牲模型性能的前提下提升效率？
• RQ5 黑箱、与模型无关的框架在多大程度上能实现比串行或孤立方法更高的准确性与公平性？

主要发现

• MLClean 在 Census 与 German Credit 数据集上的测试准确率分别达到 0.780 与 0.657，与最佳串行流水线 ⟨S,C,M⟩ 表现相当，但运行时间减少 2.2–2.5 倍。
• Census 数据集的公平性比率（群体均等性）提升至 0.684，German Credit 数据集为 0.874，与最佳串行配置相当，但执行速度显著更快。
• 运行顺序 ⟨M,S,C⟩ 的公平性低于 ⟨S,C,M⟩，表明数据清洗与不公平性缓解步骤之间存在依赖关系。
• MLClean 将 Census 数据集的运行时间缩短至 178.80 秒，German Credit 数据集为 7.72 秒，相比串行 ⟨S,C,M⟩ 流水线（391.64 秒与 19.30 秒）提速超过 2 倍。
• 该框架通过紧密集成基于聚类的异常检测与实体消歧，减少了冗余处理，提升了可扩展性。
• 单独使用基线方法如数据清洗（C）或不公平性缓解（M）时，结果表现欠佳，凸显了集成预处理的必要性。