[论文解读] Train on Validation: Squeezing the Data Lemon

Guy Tennenholtz, Tom Zahavy+1 more|arXiv (Cornell University)|Feb 16, 2018

Adversarial Robustness in Machine Learning参考文献 14被引用 5

一句话总结

本文提出了一种系统性方法，通过在验证集中有控制地训练部分数据，以提升模型性能，同时保持模型选择的稳定性。通过以概率 $ p \in [0,1] $ 采样验证样本，该方法实现了性能提升与选择偏差之间的连续权衡，对稳定算法具有理论保证，并在 MNIST 和 CIFAR-10 上实现了经验性能提升，包括 DenseNet 等当前最优模型。

ABSTRACT

Model selection on validation data is an essential step in machine learning. While the mixing of data between training and validation is considered taboo, practitioners often violate it to increase performance. Here, we offer a simple, practical method for using the validation set for training, which allows for a continuous, controlled trade-off between performance and overfitting of model selection. We define the notion of on-average-validation-stable algorithms as one in which using small portions of validation data for training does not overfit the model selection process. We then prove that stable algorithms are also validation stable. Finally, we demonstrate our method on the MNIST and CIFAR-10 datasets using stable algorithms as well as state-of-the-art neural networks. Our results show significant increase in test performance with a minor trade-off in bias admitted to the model selection process.

研究动机与目标

• 解决中等规模数据集中因严格数据划分导致的性能下降问题，尤其在数据稀缺的情况下。
• 在保持模型选择可靠性的前提下，放宽对验证数据用于训练的禁忌，实现受控使用。
• 提供一种理论基础坚实的验证数据重用方法，实现性能与选择偏差之间的连续可控权衡。
• 在包括 DenseNet 在内的稳定算法和现代深度神经网络上，验证该方法的有效性。

提出的方法

• 该方法以概率 $ p \in [0,1] $ 采样每个验证样本，并将其包含在训练集中，从而实现部分数据的重用。
• 理论分析证明，对于平均验证稳定的算法，该采样方法可保持验证稳定性，确保选择偏差有界。
• 提出一种基于批次的采样过程，适用于 SGD 等在线优化算法，使训练期间能有效利用完整数据集。
• 提出一种选择 $ p $ 的启发式方法，即在验证性能曲线的“拐点”处选取值，以有效平衡偏差与性能。
• 该方法与自适应验证方法（如 Thresholdout）兼容，可集成到更广泛的自适应数据分析流程中。

实验结果

研究问题

• RQ1 我们能否在不引入严重选择偏差的情况下，安全地重用验证数据进行训练？
• RQ2 在训练过程中使用验证集的一部分时，需满足什么条件才能确保模型选择的可靠性？
• RQ3 如何在模型选择中实现性能增益与选择偏差之间的连续、受控权衡？
• RQ4 该方法在 MNIST 和 CIFAR-10 等标准基准上的性能提升程度如何？

主要发现

• 该方法在 MNIST 和 CIFAR-10 上实现了显著的测试性能提升，同时模型选择偏差仅轻微增加。
• 对于稳定算法，即使 $ p $ 值较高（例如高达 0.5），也不会导致模型选择偏差，这由理论稳定性保证所证明。
• 在 DenseNet 上的实验表明，从验证集中采样可带来可测量的性能增益，证明了该方法在当前最优深度网络中的适用性。
• 验证曲线的拐点为 $ p $ 的选择提供了实用启发式方法，能有效平衡性能与偏差。
• 理论结果表明，平均验证稳定的算法在采样下仍保持稳定，从而实现安全的数据重用。