[论文解读] Checkpoint Ensembles: Ensemble Methods from a Single Training Process

Hugh Chen, Scott Lundberg+1 more|arXiv (Cornell University)|Oct 9, 2017

Machine Learning in Healthcare参考文献 7被引用 35

一句话总结

本文提出检查点集成（checkpoint ensembles）方法，通过在单次训练过程中平均多个基于验证分数选择的保存模型检查点的预测结果，提升深度学习模型性能。该方法在显著降低训练开销的前提下，实现了与传统集成方法相当的性能增益，优于最小验证选择法及其他单进程平均技术，在文本、图像和电子健康记录（EHR）数据上均表现更优。

ABSTRACT

We present the checkpoint ensembles method that can learn ensemble models on a single training process. Although checkpoint ensembles can be applied to any parametric iterative learning technique, here we focus on neural networks. Neural networks' composable and simple neurons make it possible to capture many individual and interaction effects among features. However, small sample sizes and sampling noise may result in patterns in the training data that are not representative of the true relationship between the features and the outcome. As a solution, regularization during training is often used (e.g. dropout). However, regularization is no panacea -- it does not perfectly address overfitting. Even with methods like dropout, two methodologies are commonly used in practice. First is to utilize a validation set independent to the training set as a way to decide when to stop training. Second is to use ensemble methods to further reduce overfitting and take advantage of local optima (i.e. averaging over the predictions of several models). In this paper, we explore checkpoint ensembles -- a simple technique that combines these two ideas in one training process. Checkpoint ensembles improve performance by averaging the predictions from "checkpoints" of the best models within single training process. We use three real-world data sets -- text, image, and electronic health record data -- using three prediction models: a vanilla neural network, a convolutional neural network, and a long short term memory network to show that checkpoint ensembles outperform existing methods: a method that selects a model by minimum validation score, and two methods that average models by weights. Our results also show that checkpoint ensembles capture a portion of the performance gains that traditional ensembles provide.

研究动机与目标

• 为解决深度学习中的过拟合与泛化问题，同时避免训练多个独立模型带来的计算开销。
• 探究是否可通过在单个训练过程中战略性地选择模型检查点，实现类似集成的性能提升。
• 从预测准确率与效率角度，对比检查点集成与最小验证选择法及其他单进程平均方法的性能表现。
• 在多种架构（MLP、CNN、LSTM）和真实世界数据集（文本、图像、EHR）上评估该方法。

提出的方法

• 在训练过程中每个周期保存模型检查点，存储所有学习到的权重。
• 从整个训练过程的检查点中，根据其验证分数（如最低损失或最高准确率）选择表现最好的k个模型。
• 在推理阶段，对这些选定的top-k检查点的预测结果进行平均，生成最终输出。
• 利用验证集指导检查点选择，确保泛化能力更强的模型优先被选中。
• 与基线方法（最小验证选择，MV；最后k个平滑器，LKS；检查点平滑器，CS）进行对比，采用预测结果的无权重平均。
• 将该方法应用于全连接网络、卷积神经网络和长短期记忆网络，在三个真实世界数据集上进行实验。

实验结果

研究问题

• RQ1 单次训练过程是否能在不训练多个独立模型的前提下，实现与传统模型集成相当的性能增益？
• RQ2 与最小验证选择法相比，检查点集成在预测准确率与泛化能力方面表现如何？
• RQ3 检查点集成的性能增益是否在不同神经网络架构和数据集上存在差异？
• RQ4 与基线方法及自举标准误相比，检查点集成的性能提升是否具有统计显著性？
• RQ5 在低数据量或噪声较大的场景下，检查点集成是否能有效缓解过拟合并提升模型鲁棒性？

主要发现

• 在所有数据集和架构上，检查点集成均显著优于最小验证选择法，其中在Reuters数据集上平均AUC提升0.0062，在EHR低碳酸血症预测任务中提升0.0060。
• 在血氧饱和度下降的OR数据上，当初始学习率为0.0005时，检查点集成相比最小验证选择法实现0.0062的AUC提升，提升值标准差仅为0.0004。
• 在低碳酸血症预测任务中，当初始学习率为0.005时，检查点集成相比最小验证选择法实现0.0127的AUC提升，提升值标准差为0.0006，表明具有统计显著性。
• 该方法在所有测试模型（全连接网络、CNN、LSTM）上均一致提升了性能，展现出广泛的适用性。
• 在EHR血氧饱和度下降预测任务中，检查点集成的性能超越了当时最先进的XGBoost模型，表明其具备强大的泛化能力。
• 检查点集成的最优性能达到时间早于最小验证选择法，表明在不损失准确率的前提下，可实现更短的训练时间。