[论文解读] Factors in Finetuning Deep Model for object detection

Wanli Ouyang, Xiaogang Wang+2 more|arXiv (Cornell University)|Jan 20, 2016

Advanced Neural Network Applications参考文献 45被引用 6

一句话总结

本文提出一种级联层次特征学习方法，以改善在长尾类别分布下深度模型的微调性能，用于目标检测。通过将物体类别聚类为视觉上相似的组别，并在逐步提高特异性的层次上逐级微调模型，该方法在 ImageNet 上实现了 4.7% 的 mAP 绝对提升，同时显著降低推理成本。

ABSTRACT

Finetuning from a pretrained deep model is found to yield state-of-the-art performance for many vision tasks. This paper investigates many factors that influence the performance in finetuning for object detection. There is a long-tailed distribution of sample numbers for classes in object detection. Our analysis and empirical results show that classes with more samples have higher impact on the feature learning. And it is better to make the sample number more uniform across classes. Generic object detection can be considered as multiple equally important tasks. Detection of each class is a task. These classes/tasks have their individuality in discriminative visual appearance representation. Taking this individuality into account, we cluster objects into visually similar class groups and learn deep representations for these groups separately. A hierarchical feature learning scheme is proposed. In this scheme, the knowledge from the group with large number of classes is transferred for learning features in its sub-groups. Finetuned on the GoogLeNet model, experimental results show 4.7% absolute mAP improvement of our approach on the ImageNet object detection dataset without increasing much computational cost at the testing stage.

研究动机与目标

• 解决目标检测中长尾类别分布带来的挑战，即稀有类别样本不足且学习效果差。
• 探究不同物体类别间样本不平衡如何影响深度模型微调过程中的特征学习。
• 通过为视觉上相似的类别组学习专用特征，而非共享单一表示，提升稀有类别的检测性能。
• 开发一种级联层次微调策略，实现从更广泛类别组到更具体类别组的知识迁移，增强特征判别能力。
• 在推理阶段实现极低计算开销的前提下，显著提升 mAP 性能。

提出的方法

• 基于判别性视觉外观（如哺乳动物或车辆）将物体类别聚类为视觉上相似的组别。
• 实施一种级联层次微调方案，模型按顺序逐步训练：从 200 个类别（第 1 级），到 4 个组（第 2 级）、7 个组（第 3 级）和 18 个组（第 4 级）。
• 使用较低层级模型（如第 1 级或第 2 级）的参数来微调更高层级模型（如第 3 级或第 4 级），实现从通用类别到特定类别的知识迁移。
• 在每一级均应用边界框拒绝策略，以减少候选区域数量，从而保持低推理成本——在第 4 级时，每幅图像平均仅需评估 5.6 个边界框。
• 以 GoogLeNet 作为骨干网络，在 ImageNet 检测数据集上进行微调，并在 ILSVRC14 验证集上进行评估。
• 通过确保从粗粒度到细粒度层级的顺序微调，优化训练策略，避免直接从 ImageNet 预训练模型对小规模组别进行微调。

实验结果

研究问题

• RQ1 长尾类别分布在目标检测微调过程中如何影响特征学习？
• RQ2 为所有类别学习共享特征表示是否会损害稀有长尾类别上的性能？
• RQ3 将视觉上相似的类别分组并分层学习特征，能否提升检测准确率，尤其是稀有类别？
• RQ4 最优微调策略是什么——直接在小规模组别上微调，还是通过中间层级逐步微调？
• RQ5 与标准微调相比，该层次级联策略是否能在降低计算成本的同时提升 mAP？

主要发现

• 与标准微调相比，所提出的层次微调方法在 ImageNet 目标检测数据集上实现了 4.7% 的 mAP 绝对提升。
• mAP 从第 1 级的 40.3% 提升至第 4 级的 45%，表明随着层次深度增加，性能持续提升。
• 从在 200 个类别上预训练的模型（第 1 级）开始微调，性能优于直接在小规模组别（如第 2 级的 4 个组）上微调，证明了知识迁移的优势。
• 在第 4 级时，每幅图像评估的平均候选框数量降至 5.6 个，整体每幅图像仅使用约 100 个框，表明推理成本极低。
• 当物体类别被聚类为 4 个组时，该方法在 PASCAL VOC 2007 上实现了 1.2% 的 mAP 提升。
• 从更广泛类别组到更细粒度类别组的级联微调策略优于从 200 个类别直接跳转到小规模组别的方法，证实了逐步专业化的重要性。