[论文解读] GRAD-MATCH: A Gradient Matching Based Data Subset Selection for Efficient Learning.

Krishnateja Killamsetty, Durga Sivasubramanian+4 more|arXiv (Cornell University)|Feb 27, 2021

Advanced Neural Network Applications参考文献 21被引用 9

一句话总结

GRAD-MATCH 是一种新颖的数据子集选择框架，通过使用正交匹配追踪（orthogonal matching pursuit）来匹配完整数据集的梯度，识别出训练子集。该方法在真实世界数据集上实现了最先进的准确率-效率权衡，优于近期具有理论收敛保证的方法。

ABSTRACT

The great success of modern machine learning models on large datasets is contingent on extensive computational resources with high financial and environmental costs. One way to address this is by extracting subsets that generalize on par with the full data. In this work, we propose a general framework, GRAD-MATCH, which finds subsets that closely match the gradient of the training or validation set. We find such subsets effectively using an orthogonal matching pursuit algorithm. We show rigorous theoretical and convergence guarantees of the proposed algorithm and, through our extensive experiments on real-world datasets, show the effectiveness of our proposed framework. We show that GRAD-MATCH significantly and consistently outperforms several recent data-selection algorithms and is Pareto-optimal with respect to the accuracy-efficiency trade-off. The code of GRADMATCH is available as a part of the CORDS toolkit: https://github.com/decile-team/cords.

研究动机与目标

• 解决在完整数据集上训练大型机器学习模型所带来的高计算成本和环境成本。
• 开发一种数据子集选择方法，使模型的泛化性能尽可能接近完整数据集的性能。
• 基于梯度匹配，提出一种理论基础扎实且高效的子集选择算法。
• 与现有数据选择方法相比，在准确率-效率权衡中实现帕累托最优。

提出的方法

• 将数据子集选择问题表述为匹配完整训练集或验证集梯度的问题。
• 使用正交匹配追踪（OMP）迭代选择最能减少梯度不匹配的数据点。
• 定义一个基于梯度的目标函数，用于度量完整数据集梯度与子集梯度之间的差异。
• 在 OMP 中应用贪心选择策略，以高效构建最小化梯度不匹配的子集。
• 通过 OMP 算法的结构和梯度匹配，确保理论上的收敛性和泛化保证。
• 将该框架集成到 CORDS 工具包中，以实现开源复现和实际部署。

实验结果

研究问题

• RQ1 梯度匹配能否有效用于识别泛化性能与完整数据集相当的数据子集？
• RQ2 GRAD-MATCH 在准确率和训练效率方面与现有数据子集选择方法相比表现如何？
• RQ3 GRAD-MATCH 是否在多种真实世界数据集上实现了准确率-效率权衡的帕累托最优？
• RQ4 所提出的子集选择算法在收敛性和泛化性能方面可提供哪些理论保证？

主要发现

• GRAD-MATCH 在多个真实世界数据集上显著减少了训练数据量的同时，实现了最先进的准确率表现。
• 该方法在基准数据集上 consistently 超越了近期的数据选择算法，在准确率和效率方面均表现更优。
• GRAD-MATCH 展现了帕累托最优性，即没有任何其他方法能在使用更少数据或更少计算量的情况下实现更高的准确率。
• 理论分析证实了所提出的梯度匹配框架具有收敛性和泛化保证。
• 实证结果表明，即使在低数据比例下，所选子集仍能保持强大的泛化性能。
• 该框架已集成至 CORDS 工具包，支持研究人员和实践者实现可复现且可扩展的部署。