[论文解读] DCNNs on a Diet: Sampling Strategies for Reducing the Training Set Size

Maya Kabkab, Azadeh Alavi+1 more|arXiv (Cornell University)|Jun 14, 2016

Control Systems and Identification参考文献 4被引用 12

一句话总结

本文提出了一种用于深度卷积神经网络（DCNNs）的自适应采样策略，通过使用凸优化迭代选择信息量丰富、多样化且均衡的样本批次，显著减少了训练集大小。通过结合分类器不确定性、类别平衡和代表性标准，该方法在使用更少训练样本的情况下实现了最先进性能，提升了训练效率，并增强了对标签噪声和类别不平衡的鲁棒性。

ABSTRACT

Large-scale supervised classification algorithms, especially those based on deep convolutional neural networks (DCNNs), require vast amounts of training data to achieve state-of-the-art performance. Decreasing this data requirement would significantly speed up the training process and possibly improve generalization. Motivated by this objective, we consider the task of adaptively finding concise training subsets which will be iteratively presented to the learner. We use convex optimization methods, based on an objective criterion and feedback from the current performance of the classifier, to efficiently identify informative samples to train on. We propose an algorithm to decompose the optimization problem into smaller per-class problems, which can be solved in parallel. We test our approach on standard classification tasks and demonstrate its effectiveness in decreasing the training set size without compromising performance. We also show that our approach can make the classifier more robust in the presence of label noise and class imbalance.

研究动机与目标

• 减少深度卷积神经网络（DCNNs）对大量数据的需求，同时不牺牲性能。
• 开发一种迭代的、自适应的采样策略，基于分类器反馈选择信息丰富的训练批次。
• 通过在选择过程中引入多样性和代表性，解决训练数据中的类别不平衡和冗余问题。
• 通过优化采样策略提升泛化能力，并增强对标签噪声和类别不平衡的鲁棒性。

提出的方法

• 该方法使用凸优化求解一个结合分类器不确定性、类别平衡、多样性和代表性的多准则选择问题。
• 提出了一种新颖的类别平衡算法，根据实时分类器性能反馈动态分配每类样本数量。
• 将优化问题分解为可并行求解的更小的每类子问题，从而提高计算效率。
• 通过误差项和熵项的加权组合建模样本的信息量，利用涉及分类器置信度的准则函数量化不确定性。
• 将批次选择建模为约束优化问题，并使用半定规划（SDP）近似求解。
• 采用类似水填法的策略动态调整样本分配，通过约束防止任一类被过度分配。

实验结果

研究问题

• RQ1 能否使用更小的、自适应的训练数据子集，在DCNNs中实现与完整训练集相当或更优的性能？
• RQ2 如何联合优化分类器不确定性、类别平衡、多样性和代表性，以提升学习效率？
• RQ3 迭代采样策略是否能减少训练时间，同时保持或提升泛化能力？
• RQ4 所提出的方法是否能增强对训练数据中标签噪声和类别不平衡的鲁棒性？
• RQ5 凸优化技术能否有效应用于大规模深度学习的训练子集选择？

主要发现

• 所提方法显著减少了所需训练集大小，同时在手写数字和人脸图像识别任务中保持或提升了分类性能。
• 在测试基准中，该方法仅使用原始训练数据的20%-30%即可实现与全批量训练相当的性能。
• 在存在标签噪声的条件下，该方法对噪声表现出更强的鲁棒性，性能下降程度显著低于随机采样。
• 通过基于反馈的动态类别平衡机制，有效缓解了类别不平衡问题，使各类别性能更加均衡。
• 在所有评估数据集中，基于优化的采样策略在收敛速度和最终准确率方面均优于随机采样。
• 通过使用凸松弛和半定规划，实现了高效且接近最优的批次选择，并具备解质量的理论保证。