[论文解读] Data Cleansing for Models Trained with SGD

Satoshi Hara, Atsushi Nitanda+1 more|arXiv (Cornell University)|Jun 1, 2019

Machine Learning and Data Classification被引用 14

一句话总结

本文提出了一种适用于随机梯度下降（SGD）训练模型的领域无关数据清洗方法，通过回溯SGD步骤并利用中间模型来识别具有影响力的训练实例。该方法使非专家无需先验知识即可提升模型准确率，在MNIST和CIFAR10上通过移除识别出的具有影响力实例实现了显著的性能提升。

ABSTRACT

Data cleansing is a typical approach used to improve the accuracy of machine learning models, which, however, requires extensive domain knowledge to identify the influential instances that affect the models. In this paper, we propose an algorithm that can identify influential instances without using any domain knowledge. The proposed algorithm automatically cleans the data, which does not require any of the users' knowledge. Hence, even non-experts can improve the models. The existing methods require the loss function to be convex and an optimal model to be obtained, which is not always the case in modern machine learning. To overcome these limitations, we propose a novel approach specifically designed for the models trained with stochastic gradient descent (SGD). The proposed method infers the influential instances by retracing the steps of the SGD while incorporating intermediate models computed in each step. Through experiments, we demonstrate that the proposed method can accurately infer the influential instances. Moreover, we used MNIST and CIFAR10 to show that the models can be effectively improved by removing the influential instances suggested by the proposed method.

研究动机与目标

• 为解决现有数据清洗方法在识别具有影响力训练实例时依赖领域专业知识的局限性。
• 克服先前方法对凸损失函数和最优模型收敛性的依赖，而这些条件在现代深度学习中往往无法满足。
• 开发一种专为使用随机梯度下降（SGD）训练的模型设计的方法，SGD是现代机器学习中的标准训练范式。
• 使非专家能够通过自动化的数据清洗实现模型性能的提升，而无需人工干预或领域知识。
• 在标准基准上展示移除识别出的具有影响力实例后，模型准确率的提升效果。

提出的方法

• 通过在所有训练步骤中回溯随机梯度下降（SGD）的优化路径，推断具有影响力的训练实例。
• 利用每个SGD更新步骤中计算出的中间模型，评估单个训练实例对模型行为的影响。
• 该方法不要求损失函数为凸函数，也不要求最终模型为最优，因此适用于现实中的深度学习场景。
• 基于实例在训练轨迹中对模型更新的贡献，使用基于轨迹的影响估计技术识别具有影响力实例。
• 该方法完全以数据驱动、自动化的方式运行，无需用户定义的启发式规则或特定领域的标准。
• 在识别出具有影响力实例后，通过移除这些实例并在清洗后的数据集上重新训练，评估模型性能的提升。

实验结果

研究问题

• RQ1 是否存在一种数据清洗方法，能够在不依赖领域知识或凸性假设的前提下，识别SGD训练模型中的具有影响力训练实例？
• RQ2 与现有影响估计技术相比，所提出方法在推断最具影响力训练实例方面的准确性如何？
• RQ3 移除识别出的具有影响力实例后，对标准基准上模型泛化能力和准确率的提升程度如何？
• RQ4 该方法是否能有效应用于现实世界中使用SGD训练的深度学习模型，即使损失函数非凸且最终模型非最优？
• RQ5 所提出方法是否能使非专家通过自动化的数据清洗实现模型性能的提升？

主要发现

• 所提出方法在无需领域知识或凸损失函数的前提下，成功识别出SGD训练模型中的具有影响力训练实例。
• 通过利用每个SGD更新步骤中的中间模型，该方法在影响估计方面实现了高精度。
• 在MNIST数据集上，移除该方法识别出的最具影响力的实例后，模型测试准确率实现了可测量的提升。
• 在CIFAR-10数据集上，所提出的清洗方法在使用清洗数据重新训练后，显著降低了测试误差。
• 该方法使非专家能够通过自动化的数据清洗提升模型性能，展示了在现实世界机器学习工作流中的实际可用性。
• 该方法对非凸优化景观具有鲁棒性，且无需收敛至最优模型，因此适用于现代深度学习应用。