[论文解读] Are all training examples equally valuable

Àgata Lapedriza, Hamed Pirsiavash+2 more|arXiv (Cornell University)|Nov 25, 2013

Machine Learning and Data Classification参考文献 19被引用 38

一句话总结

本文提出一种方法，用于衡量并排序单个训练样本的训练价值，证明选择高价值训练样本的子集——而非使用完整数据集——可在视觉任务中提升最先进检测器和分类器的性能。该方法基于示例效用的贪心前向选择策略，相较于在完整数据集上训练，在多个模型和数据集上均实现了更高的平均精度（AP）。

ABSTRACT

When learning a new concept, not all training examples may prove equally useful for training: some may have higher or lower training value than others. The goal of this paper is to bring to the attention of the vision community the following considerations: (1) some examples are better than others for training detectors or classifiers, and (2) in the presence of better examples, some examples may negatively impact performance and removing them may be beneficial. In this paper, we propose an approach for measuring the training value of an example, and use it for ranking and greedily sorting examples. We test our methods on different vision tasks, models, datasets and classifiers. Our experiments show that the performance of current state-of-the-art detectors and classifiers can be improved when training on a subset, rather than the whole training set.

研究动机与目标

• 探究在视觉任务中，所有训练样本是否对模型性能的贡献均等。
• 识别并量化单个样本的训练价值，认识到部分样本可能对性能产生负面影响。
• 开发一种基于样本对模型泛化能力贡献的排序与选择方法。
• 证明通过使用全量数据集的子集进行训练，而非全部数据，可提升模型性能。
• 挑战计算机视觉领域中对所有训练数据无差别使用的标准做法。

提出的方法

• 本文基于每个样本在增量训练过程中对模型性能提升的贡献，定义了一种训练价值度量指标。
• 采用贪心前向选择策略，按训练价值对样本进行排序，逐个添加样本以构建高性能子集。
• 在每次添加后评估模型性能，使用保留的测试集上的平均精度（AP）作为性能指标。
• 该方法在多个模型（LDA、线性与核SVM）、特征（HOG、Gist、视觉词袋）、数据集（PASCAL VOC 2007、SUN 2012）上进行了应用。
• 该方法通过分析模型在已有数据上的行为来推断样本效用，避免了人工标注或主动学习。
• 通过将最佳子集与全量训练、随机子集及逆序子集的性能进行比较，验证了方法的有效性。

实验结果

研究问题

• RQ1 能否根据样本对目标检测与分类任务中模型性能的贡献，对单个训练样本进行排序？
• RQ2 在高价值样本子集上进行训练，是否优于在全量数据集上训练？
• RQ3 是否存在对模型性能产生负面影响的样本，例如误标或高度遮挡的样本？
• RQ4 是否可通过数据选择策略，实现超越全量训练集所能达到的泛化性能？
• RQ5 数据集大小与偏差如何影响所提出的训练价值排序方法的有效性？

主要发现

• 基于高训练价值排序的样本子集进行训练，其平均精度（AP）高于在全量数据集上训练，且性能峰值出现在使用全部数据之前。
• 最佳样本子集的性能优于全量训练集，在PASCAL VOC 2007数据集上，对15个常见类别的AP提升最高达0.23。
• 即使仅使用10%的训练数据，最佳子集在某些情况下仍可实现与全量数据集相当或更优的性能。
• 低训练价值样本若按逆序训练，仍优于随机子集，但无法达到最佳子集的性能，表明其在学习效率上较低。
• 该方法在不同数据集间具有泛化能力：在PASCAL VOC 2007上训练的最佳子集用于SUN 2012测试时，表现出更强的泛化能力，表明其具备更好的不变性。
• 更大的训练集有助于发现更优的子集，证实数据集大小会影响所选样本的质量。