[论文解读] Leave Zero Out: Towards a No-Cross-Validation Approach for Model Selection

Weikai Li, Chuanxing Geng+1 more|arXiv (Cornell University)|Dec 24, 2020

Machine Learning and Algorithms参考文献 69被引用 9

一句话总结

本文提出了一种名为留零法（Leave-Zero-Out, LZO）的新颖模型选择方法，通过数据增强技术构建廉价且理论基础坚实的验证集，从而避免数据保留。与传统交叉验证不同，LZO仅在完整数据集上训练模型一次，即可实现相当或更优的准确率，同时显著降低计算成本，尤其适用于小样本和半监督数据集。

ABSTRACT

As the main workhorse for model selection, Cross Validation (CV) has achieved an empirical success due to its simplicity and intuitiveness. However, despite its ubiquitous role, CV often falls into the following notorious dilemmas. On the one hand, for small data cases, CV suffers a conservatively biased estimation, since some part of the limited data has to hold out for validation. On the other hand, for large data cases, CV tends to be extremely cumbersome, e.g., intolerant time-consuming, due to the repeated training procedures. Naturally, a straightforward ambition for CV is to validate the models with far less computational cost, while making full use of the entire given data-set for training. Thus, instead of holding out the given data, a cheap and theoretically guaranteed auxiliary/augmented validation is derived strategically in this paper. Such an embarrassingly simple strategy only needs to train models on the entire given data-set once, making the model-selection considerably efficient. In addition, the proposed validation approach is suitable for a wide range of learning settings due to the independence of both augmentation and out-of-sample estimation on learning process. In the end, we demonstrate the accuracy and computational benefits of our proposed method by extensive evaluation on multiple data-sets, models and tasks.

研究动机与目标

• 解决传统交叉验证在小样本和大数据场景下的计算低效与偏差问题。
• 克服近似交叉验证方法的局限性，后者依赖于特定模型且因在相同数据上进行训练与评估而易导致过拟合。
• 开发一种通用、高效且理论依据充分的验证策略，避免数据保留的同时最大化训练数据的使用。
• 在半监督学习等挑战性场景（如标注数据有限）中实现有效的模型选择。
• 在无需重复训练模型的前提下，提供泛化误差的理论有界估计。

提出的方法

• 通过原始训练数据的数据增强构建辅助验证集，避免任何数据保留。
• 使用Jensen-Shannon（JS）散度理论界定真实风险与增强验证风险之间的估计偏差。
• 推导出泛化误差估计误差的上界，其依赖于原始数据分布与增强数据分布之间的JS散度以及验证集的样本量。
• 通过直接在增强数据上评估最终模型，确保验证估计的偏差最小化，从而模拟模型的分布外性能。
• 利用增强与学习过程的独立性，使该方法适用于多种学习模型与设置。
• 仅需一次完整的模型训练过程，消除了传统交叉验证中反复重训练模型的需要。

实验结果

研究问题

• RQ1 能否开发一种模型选择方法，在避免数据保留的同时，实现与交叉验证相当或更优的估计准确率？
• RQ2 是否可能实现一种计算高效的模型选择策略，以充分利用所有可用的训练数据？
• RQ3 能否利用数据增强而非数据划分，推导出具有理论边界的验证估计？
• RQ4 在不同学习设置下，与传统交叉验证相比，该方法在准确率与效率方面的表现如何？
• RQ5 该方法在低数据或半监督学习场景中是否具有显著优势？

主要发现

• 在20个监督学习数据集上，LZO实现的准确率与传统交叉验证相当或更优，同时显著降低了计算成本。
• 在6个半监督学习数据集上，LZO相较于交叉验证展现出显著的准确率提升，凸显其在低数据场景下的优势。
• 该方法仅需对完整数据集进行一次模型训练，其速度比标准交叉验证快几个数量级。
• 理论分析表明，估计误差受原始数据分布与增强数据分布之间JS散度的约束，提供了坚实的理论依据。
• 由于该方法与学习算法无关，因此可广泛适用于不同模型类型与学习场景。
• LZO的代码已公开发布于GitHub，以确保可复现性，并促进未来研究中的应用。