[论文解读] apricot: Submodular selection for data summarization in Python

Jacob Schreiber, Jeffrey A. Bilmes+1 more|arXiv (Cornell University)|Jan 1, 2020

Machine Learning and Data Classification被引用 3

一句话总结

apricot 是一个 Python 软件包，利用子模优化从大规模数据集中高效地选择具有代表性的子集，通过贪心算法提供理论保证。它实现了两种子模函数——设施位置函数和基于特征的函数——使得仅使用完整数据集的一小部分即可实现可扩展的数据摘要，且准确率很高。

ABSTRACT

We present apricot, an open source Python package for selecting representative subsets from large data sets using submodular optimization. The package implements an efficient greedy selection algorithm that offers strong theoretical guarantees on the quality of the selected set. Two submodular set functions are implemented in apricot: facility location, which is broadly applicable but requires memory quadratic in the number of examples in the data set, and a feature-based function that is less broadly applicable but can scale to millions of examples. Apricot is extremely efficient, using both algorithmic speedups such as the lazy greedy algorithm and code optimizers such as numba. We demonstrate the use of subset selection by training machine learning models to comparable accuracy using either the full data set or a representative subset thereof. This paper presents an explanation of submodular selection, an overview of the features in apricot, and an application to several data sets. The code and tutorial Jupyter notebooks are available at this https URL

研究动机与目标

• 开发一个开源的 Python 软件包，利用子模优化选择具有代表性的数据子集。
• 通过高效的贪心算法，为子集质量提供强有力的理论保证。
• 通过优化实现（如懒惰贪心算法和 Numba）实现对数百万个样本的可扩展性。
• 证明具有代表性的子集在训练机器学习模型时可达到与完整数据集相当的性能。
• 为研究人员和实践者提供实用工具和教程，以在现实场景中应用子集选择。

提出的方法

• 实现一种具有子集质量理论保证的贪心子模优化算法。
• 使用设施位置函数以实现广泛适用性，尽管其在数据规模上需要二次方内存。
• 引入基于特征的子模函数，可高效处理大规模数据集。
• 采用算法加速技术，如懒惰贪心算法，以降低计算成本。
• 通过 Numba 实现代码级别的优化，以加速执行。
• 通过用户友好的 Python API 和 Jupyter 笔记本教程，支持端到端的数据摘要工作流。

实验结果

研究问题

• RQ1 子模优化在实践中能否高效应用于大规模数据摘要？
• RQ2 通过子模函数选择的代表性子集在训练机器学习模型时，与完整数据集相比表现如何？
• RQ3 在数据子集选择中，可扩展性与代表性之间存在何种权衡？
• RQ4 子模选择在多大程度上可以减少数据规模，同时保持模型准确率？
• RQ5 在不同数据集上，不同子模函数（设施位置 vs. 基于特征）的表现如何？

主要发现

• apricot 软件包实现了具有强理论保证的可扩展数据摘要。
• 基于特征的子模函数可高效处理包含数百万个样本的数据集。
• 使用 apricot 进行子集选择可实现与在完整数据集上训练相当的机器学习模型准确率。
• 算法优化（如懒惰贪心算法和 Numba）显著提升了运行时性能。
• 设施位置函数可提供高质量的子集，但受限于二次方内存需求。
• 教程和代码公开可用，支持研究人员和实践者在实际中采用。