[论文解读] GLISTER: Generalization based Data Subset Selection for Efficient and Robust Learning

Krishnateja Killamsetty, Durga Sivasubramanian+2 more|arXiv (Cornell University)|Dec 19, 2020

Machine Learning and Algorithms被引用 20

一句话总结

GLISTER 是一种用于高效且稳健机器学习的新颖框架，通过混合离散-连续双层优化选择数据子集以最大化验证对数似然。它提出了 Glister-Online，一种迭代算法，联合优化数据选择与模型参数，在训练效率、对标签噪声的鲁棒性以及主动学习方面实现了最先进性能，且在多种模型和数据集上仅带来最小的准确率下降。

ABSTRACT

Large scale machine learning and deep models are extremely data-hungry. Unfortunately, obtaining large amounts of labeled data is expensive, and training state-of-the-art models (with hyperparameter tuning) requires significant computing resources and time. Secondly, real-world data is noisy and imbalanced. As a result, several recent papers try to make the training process more efficient and robust. However, most existing work either focuses on robustness or efficiency, but not both. In this work, we introduce Glister, a GeneraLIzation based data Subset selecTion for Efficient and Robust learning framework. We formulate Glister as a mixed discrete-continuous bi-level optimization problem to select a subset of the training data, which maximizes the log-likelihood on a held-out validation set. Next, we propose an iterative online algorithm Glister-Online, which performs data selection iteratively along with the parameter updates and can be applied to any loss-based learning algorithm. We then show that for a rich class of loss functions including cross-entropy, hinge-loss, squared-loss, and logistic-loss, the inner discrete data selection is an instance of (weakly) submodular optimization, and we analyze conditions for which Glister-Online reduces the validation loss and converges. Finally, we propose Glister-Active, an extension to batch active learning, and we empirically demonstrate the performance of Glister on a wide range of tasks including, (a) data selection to reduce training time, (b) robust learning under label noise and imbalance settings, and (c) batch-active learning with several deep and shallow models. We show that our framework improves upon state of the art both in efficiency and accuracy (in cases (a) and (c)) and is more efficient compared to other state-of-the-art robust learning algorithms in case (b).

研究动机与目标

• 解决大规模机器学习中减少训练时间并提高对标签噪声和类别不平衡鲁棒性的双重挑战。
• 开发一个统一框架，同时优化数据效率与模型泛化能力。
• 在训练过程中实现迭代数据子集选择，以降低标注成本并提升收敛性。
• 通过在选择过程中利用验证数据，确保在分布偏移下的鲁棒性。
• 将框架扩展至批量主动学习，以实现高效的人机协同数据标注。

提出的方法

• 将数据子集选择建模为混合离散-连续双层优化问题，以最大化验证对数似然。
• 提出 Glister-Online，一种迭代在线算法，交替进行模型参数更新与数据子集选择。
• 证明对于常见损失函数（包括交叉熵、合页损失和平方损失），内层离散数据选择问题具有弱子模性。
• 利用子模优化理论，在温和条件下确保理论收敛性与验证损失降低。
• 提出 Glister-Active 作为批量主动学习的扩展，通过子模函数整合不确定性和多样性。
• 使用验证数据作为泛化性的代理，实现对决策边界附近样本的选择，从而提升鲁棒性。

实验结果

研究问题

• RQ1 统一框架能否同时提升训练效率与对标签噪声和类别不平衡的鲁棒性？
• RQ2 在训练过程中进行迭代数据子集选择如何影响模型收敛性与泛化能力？
• RQ3 选择决策边界附近的样本在多大程度上能提升在分布偏移下的性能？
• RQ4 数据选择过程能否通过子模性理论化地证明适用于广泛损失函数类别？
• RQ5 GLISTER 在数据选择、鲁棒学习和主动学习方面与最先进方法相比表现如何？

主要发现

• GLISTER-Online 在 $ r = 0.03K $ 条件下收敛更快且验证损失更低，显著优于基线方法，兼顾稳定性与效率。
• 该框架在选择边界相关样本方面优于 CRAIG、随机选择和 KNN-子模选择，尤其在协变量偏移下表现更优。
• 在合成数据集上，GLISTER-Online 选择靠近决策边界的点，而其他方法则选择覆盖整个数据分布的代表性点。
• 在真实世界基准测试中，GLISTER 提升了数据选择与主动学习的训练效率与准确率，并降低了标签噪声下的误差。
• 理论分析证实，对于交叉熵、合页损失、平方损失和逻辑损失，内层数据选择问题均为弱子模性。
• 实验结果表明，GLISTER-Active 在批量主动学习中实现了具有竞争力的性能，同时提升了样本多样性与预测不确定性处理能力。