[论文解读] ActiveClean: Interactive Data Cleaning While Learning Convex Loss Models

Sanjay Krishnan, Jiannan Wang+3 more|arXiv (Cornell University)|Jan 15, 2016

Data Quality and Management参考文献 33被引用 24

一句话总结

ActiveClean 是一种新颖的交互式数据清洗框架，通过模型反馈引导清洗工作，增量式训练凸损失模型（如线性回归、SVM），并提供收敛性保证。与均匀采样和主动学习相比，其清洗需求减少最多达2.5倍，且在固定清洗预算下通过重要性采样和模型感知检测优先处理高影响、可能脏乱的记录，从而实现更高准确率。

ABSTRACT

Data cleaning is often an important step to ensure that predictive models, such as regression and classification, are not affected by systematic errors such as inconsistent, out-of-date, or outlier data. Identifying dirty data is often a manual and iterative process, and can be challenging on large datasets. However, many data cleaning workflows can introduce subtle biases into the training processes due to violation of independence assumptions. We propose ActiveClean, a progressive cleaning approach where the model is updated incrementally instead of re-training and can guarantee accuracy on partially cleaned data. ActiveClean supports a popular class of models called convex loss models (e.g., linear regression and SVMs). ActiveClean also leverages the structure of a user's model to prioritize cleaning those records likely to affect the results. We evaluate ActiveClean on five real-world datasets UCI Adult, UCI EEG, MNIST, Dollars For Docs, and WorldBank with both real and synthetic errors. Our results suggest that our proposed optimizations can improve model accuracy by up-to 2.5x for the same amount of data cleaned. Furthermore for a fixed cleaning budget and on all real dirty datasets, ActiveClean returns more accurate models than uniform sampling and Active Learning.

研究动机与目标

• 解决由迭代式数据清洗导致的预测建模中系统性偏差问题，该问题违反了统计独立性假设。
• 通过自动化和引导清洗过程，降低数据清洗的高昂人力成本——通常占分析师时间的80%。
• 为渐进式数据清洗过程中增量模型更新提供形式化的收敛性和误差界。
• 通过利用模型结构来优先处理最可能影响模型性能的记录，优化清洗效率。
• 在固定清洗预算下，通过用模型指导的采样策略替代均匀采样和主动学习，提升模型准确率。

提出的方法

• ActiveClean 使用凸优化框架增量更新模型参数，确保在期望下单调收敛，收敛速率为 O(1/√(bT))，其中 b 为批量大小，T 为迭代次数。
• 推导出理论上最优的采样分布以最小化更新误差，并在实际中使用近似方法估计该分布。
• 与数据检测技术集成，识别并优先处理可能脏乱的记录，避免采样干净数据。
• 基于模型梯度和损失敏感度实施重要性采样，聚焦于最影响模型准确率的记录。
• 支持批量更新以提升计算效率，同时保持收敛性保证。
• 将模型视为白盒，利用凸性和优化理论，在渐进式清洗过程中保持准确率。

实验结果

研究问题

• RQ1 在数据清洗过程中进行增量模型更新，是否能在减少需清洗记录数量的同时维持模型准确率？
• RQ2 如何利用模型结构引导数据清洗，使其聚焦于最影响模型性能的记录？
• RQ3 在凸损失模型的渐进式清洗过程中，哪种采样策略能最小化更新误差？
• RQ4 在固定清洗预算下，ActiveClean 与均匀采样和主动学习相比，在模型准确率方面表现如何？
• RQ5 在何种条件下，ActiveClean 优于 SampleClean 和主动学习等现有方法？

主要发现

• 在相同清洗数据量下，与均匀采样和主动学习相比，ActiveClean 的模型准确率最高可提升2.5倍。
• 在所有真实世界脏数据集（UCI Adult、EEG、MNIST、Dollars For Docs、WorldBank）上，ActiveClean 在固定清洗预算下均实现了比均匀采样和主动学习更高的模型准确率。
• 当污染率较低时（如5%），ActiveClean 达到相同模型准确率所需的清洗记录数少于主动学习或 SampleClean。
• 仅当污染率极高时（如50%），SampleClean 才优于 ActiveClean，表明 ActiveClean 优化于稀疏错误场景。
• 在两个真实世界场景中，对于相同数量的清洗记录，ActiveClean 返回的模型准确率显著高于 SampleClean 或主动学习。
• ActiveClean 中重要性采样、脏数据检测与估计的结合，在小样本规模下显著提升了模型准确率。