[论文解读] Do We Need More Training Data?

Xiangxin Zhu, Carl Vondrick+2 more|Mar 5, 2015

Electronic Health Records Systems被引用 3

一句话总结

本文研究了仅增加训练数据是否能提升基于HOG的模板模型中的目标检测性能，发现由于模型容量有限和数据噪声，标准混合模型会迅速达到饱和。本文提出了一种原型可变形部件模型（EDPM），通过组合式、参数共享的部件实现对未见模板的外推，即使在数据有限的情况下，其性能也显著优于非参数混合模型，表明模型架构和参数共享比单纯增加数据量更为关键。

ABSTRACT

Datasets for training object recognition systems are steadily increasing in size. This paper investigates the question of whether existing detectors will continue to improve as data grows, or saturate in performance due to limited model complexity and the Bayes risk associated with the feature spaces in which they operate. We focus on the popular paradigm of discriminatively trained templates defined on oriented gradient features. We investigate the performance of mixtures of templates as the number of mixture components and the amount of training data grows. Surprisingly, even with proper treatment of regularization and "outliers", the performance of classic mixture models appears to saturate quickly ($\sim$10 templates and $\sim$100 positive training examples per template). This is not a limitation of the feature space as compositional mixtures that share template parameters via parts and that can synthesize new templates not encountered during training yield significantly better performance. Based on our analysis, we conjecture that the greatest gains in detection performance will continue to derive from improved representations and learning algorithms that can make efficient use of large datasets.

研究动机与目标

• 确定在当前数据集规模之外，增加训练数据是否仍能持续提升基于HOG的目标检测器性能。
• 诊断为何在训练数据不断增加的情况下，标准模板混合模型仍会迅速达到性能饱和。
• 评估当前子类别发现方法（如按纵横比或外观聚类）是否足以利用更大规模的数据集。
• 提出一种非参数化的可变形部件模型（EDPM）扩展，以实现更好的泛化能力和随数据增长的性能提升。
• 证明改进的模型归纳偏置——尤其是组合式、参数共享的表示——比单纯增加数据量更具影响力。

提出的方法

• 作者在大规模数据集上训练线性SVM，其规模比PASCAL VOC大一个数量级，以研究性能随数据量和模型复杂度的变化。
• 他们评估了标准的非参数模板混合模型，通过调整组件数量和训练样本数量，观察到性能早期即达到饱和。
• 他们引入了原型可变形部件模型（EDPM），这是一种DPM的非参数扩展，通过在模板间共享部件参数，实现从训练原型中组合新配置。
• EDPM采用基于部件的组合结构，隐式表示一个指数级庞大的模板集合，从而实现无需显式枚举的近似最近邻推理。
• 他们采用交叉验证来根据数据集规模正则化模型复杂度，以纠正过拟合和数据增多导致的性能下降。
• 他们将EDPM与标准DPM和非参数混合模型进行比较，表明参数共享和组合性能够实现更好的泛化和可扩展性。

实验结果

研究问题

• RQ1 基于HOG的模板检测器性能是否随着训练数据增加而持续提升，还是因模型限制而达到饱和？
• RQ2 为何标准的非参数模板混合模型即使经过正则化，也无法随数据增多而有效扩展？
• RQ3 在泛化到未见物体配置时，组合式、参数共享模型（如DPM）是否能优于非参数混合模型？
• RQ4 手动或启发式子类别标注策略（如按纵横比聚类）在多大程度上限制了从更大数据集获得性能提升？
• RQ5 非参数、组合式模型（如EDPM）是否能通过实现对未见模板的外推，比传统混合模型更好地利用大规模数据集？

主要发现

• 标准的非参数HOG模板混合模型在仅约10个组件和每个组件约100个正样本后，性能即迅速达到饱和，尽管训练数据持续增加。
• 在现成实现中观察到数据增多导致性能下降，这是由于正则化不足所致，可通过交叉验证加以纠正。
• 可变形部件模型（DPM）通过在模板间共享部件参数，实现了比非参数混合模型更好的性能，有效编码了指数级庞大的配置集合。
• 原型可变形部件模型（EDPM）通过利用共享部件组合新模板，即使在训练数据有限的情况下，也显著优于非参数混合模型和标准DPM。
• EDPM仅需每类100–200个正样本即可实现高性能，表明HOG模板的有效容量有限，无需数千个样本。
• 本研究结论认为，未来检测性能的提升将更多源于改进的模型归纳偏置——尤其是组合性和参数共享——而非单纯增加训练数据量。