[论文解读] Adaptive Second Order Coresets for Data-efficient Machine Learning

Omead Pooladzandi, David Davini+1 more|arXiv (Cornell University)|Jul 28, 2022

Stochastic Gradient Optimization Techniques被引用 5

一句话总结

AdaCore 提出了一种自适应的二阶共轭子集方法，通过基于 Hessian 的曲率估计动态选择加权训练子集，以近似预处理梯度，从而在保证理论收敛性的同时实现更快的收敛速度。该方法在训练深度网络时，相较于随机子集实现了超过 4.5 倍的加速，相较于全量数据实现了 2.9 倍的加速，同时通过优先选择多样化、不确定性和易遗忘样本，保持了模型的准确性。

ABSTRACT

Training machine learning models on massive datasets incurs substantial computational costs. To alleviate such costs, there has been a sustained effort to develop data-efficient training methods that can carefully select subsets of the training examples that generalize on par with the full training data. However, existing methods are limited in providing theoretical guarantees for the quality of the models trained on the extracted subsets, and may perform poorly in practice. We propose AdaCore, a method that leverages the geometry of the data to extract subsets of the training examples for efficient machine learning. The key idea behind our method is to dynamically approximate the curvature of the loss function via an exponentially-averaged estimate of the Hessian to select weighted subsets (coresets) that provide a close approximation of the full gradient preconditioned with the Hessian. We prove rigorous guarantees for the convergence of various first and second-order methods applied to the subsets chosen by AdaCore. Our extensive experiments show that AdaCore extracts coresets with higher quality compared to baselines and speeds up training of convex and non-convex machine learning models, such as logistic regression and neural networks, by over 2.9x over the full data and 4.5x over random subsets.

研究动机与目标

• 为解决现有数据高效训练方法在子集选择中依赖启发式策略而缺乏理论保证的问题。
• 通过选择能近似 Hessian 预处理全梯度的共轭子集，提升模型收敛速度与质量。
• 消除冗余和非信息性数据点，同时保留对学习至关重要的样本。
• 为应用于所选共轭子集的一阶和二阶优化方法提供严格的收敛性保证。
• 在训练过程中根据数据点重要性的动态变化（如不确定性与可记忆性）自适应调整子集选择。

提出的方法

• AdaCore 使用 Hessian 的指数加权平均估计，实时近似损失函数的曲率。
• 将共轭子集选择建模为最大化一个子模函数，该函数捕捉了由 Hessian 对角线预处理的梯度信息。
• 通过依赖无 Hessian 优化的方法避免完整 Hessian 的计算，以保持计算效率。
• 结合一阶与二阶梯度信息，并使用指数平滑技术，降低局部曲率与梯度估计中的噪声。
• 共轭子集通过迭代方式构建，数据点根据其对预处理梯度的贡献进行加权。
• AdaCore 优先选择具有高不确定性和高遗忘性的样本，表明这些样本对泛化至关重要。

实验结果

研究问题

• RQ1 一种融合曲率信息的共轭子集选择方法是否能实现更快的收敛速度并具备理论保证？
• RQ2 与仅依赖梯度或启发式策略的方法相比，自适应的基于 Hessian 的共轭子集选择在训练速度与准确性方面表现如何？
• RQ3 AdaCore 是否能有效识别并优先选择对学习至关重要的多样化、非冗余样本，特别是在非凸深度学习设置中？
• RQ4 通过自适应 Hessian 估计实现的预处理梯度近似，是否相比全批量训练能带来更优的优化动态？
• RQ5 选择频率与小批量大小如何与 AdaCore 生成的共轭子集相互作用，从而影响模型性能？

主要发现

• 在 CIFAR-100 上使用 ResNet18 训练时，AdaCore 相较于随机子集实现了超过 4.5 倍的加速，相较于全量数据训练实现了 2.9 倍加速。
• 在 BDD100k 数据集上，使用 ResNet50 时，AdaCore 相较于全量数据训练实现了 2.5 倍加速，相较于随机子集实现了 1.7 倍加速。
• 与 Craig 相比，AdaCore 选择的子集更具多样性，其选择频率分布更平坦，显著降低了冗余性。
• 方法优先选择易遗忘和不确定的样本，表现为在排名靠前的样本中具有更高的平均遗忘分数与不确定性。
• 对于非凸模型（如深度网络），AdaCore 在 Polyak-Łojasiewicz (PL*) 条件下可实现指数收敛速率，其优化动态与全量数据训练一致。
• 在非凸模型如深度网络中，AdaCore 确保在 Polyak-Łojasiewicz (PL*) 条件下实现指数收敛速率，与全数据训练的动态完全匹配。