[论文解读] Fine-tuning deep CNN models on specific MS COCO categories

Daniel Sonntag, Michael Barz+5 more|arXiv (Cornell University)|Sep 5, 2017

Advanced Neural Network Applications参考文献 8被引用 9

一句话总结

本文提出了一种 py-faster-rcnn 框架的改进版本，称为 py-faster-rcnn-ft，用于在 MS COCO 数据集的特定物体类别上高效微调 VGG_CNN_M_1024 模型。该框架自动处理 prototxt 文件调整与类别 ID 管理，减少人为错误，提升迁移学习效率；在 'person' 和 'car' 类别上微调后，平均精度（AP）分别提升至 29.4% 和 15.6%，超过基线模型性能。

ABSTRACT

Fine-tuning of a deep convolutional neural network (CNN) is often desired. This paper provides an overview of our publicly available py-faster-rcnn-ft software library that can be used to fine-tune the VGG_CNN_M_1024 model on custom subsets of the Microsoft Common Objects in Context (MS COCO) dataset. For example, we improved the procedure so that the user does not have to look for suitable image files in the dataset by hand which can then be used in the demo program. Our implementation randomly selects images that contain at least one object of the categories on which the model is fine-tuned.

研究动机与目标

• 减少在特定 MS COCO 类别上微调深度卷积神经网络时的手动配置错误。
• 自动化处理 prototxt 文件与类别 ID，以简化微调工作流程。
• 通过支持对 MS COCO 类别的子集进行针对性微调，提升迁移学习效率，避免手动选择文件。
• 为研究人员提供一个用户友好、开源的工具，用于将预训练模型适配至自定义目标检测任务。
• 通过在 VGG_CNN_M_1024 架构上对特定类别进行微调，展示性能提升效果。

提出的方法

• 该框架在 py-faster-rcnn 基础上增加了一个 Python 包装器，可根据选定的类别 ID 自动修改 train.prototxt 和 test.prototxt 文件。
• 引入一个配置文件（faster_rcnn_end2end.yml），用于指定目标类别，避免在多个源代码位置进行手动编辑。
• 一个专用脚本（MSCOCO_API_categories.py）可提取并列出所有 MS COCO 2014 类别 ID，便于用户参考。
• 训练流程采用端到端微调，基于在 MS COCO 数据集上预训练的 VGG_CNN_M_1024 模型，充分利用迁移学习优势。
• 系统通过 Caffe 支持基于 GPU 的训练与推理，利用 shell 脚本实现模型与数据集的自动管理。
• 一个演示程序可随机选取包含目标类别的图像，并可视化检测结果及对应的 AP 分数。

实验结果

研究问题

• RQ1 自动化配置管理是否能减少错误并简化在特定 MS COCO 类别上微调深度卷积神经网络的流程？
• RQ2 在 MS COCO 类别的子集上微调预训练的 VGG_CNN_M_1024 模型，是否相比全数据集基线模型能提升平均平均精度（mAP）？
• RQ3 对 'person' 和 'car' 类别进行针对性微调，在 COCO minival2014 集上能多大程度提升检测性能？
• RQ4 所提出的自动化机制在多大程度上减少了迁移学习工作流中的手动操作与配置复杂度？
• RQ5 该框架是否可扩展以支持除 MS COCO 外的其他数据集，例如通过自动化方式从 Google Images 等来源收集数据？

主要发现

• 使用 py-faster-rcnn-ft 框架在 'person' 和 'car' 类别上微调 VGG_CNN_M_1024 模型后，其在 COCO minival2014 集上的平均精度（AP）分别达到 29.4% 和 15.6%。
• 在全部 80 个 MS COCO 类别上训练的基线模型，'person' 的 AP 为 26.2%，'car' 的 AP 为 11.2%，表明针对性微调带来了性能提升。
• 自动化配置系统成功避免了对 prototxt 文件的手动编辑，降低了训练过程中出现错误模型状态的风险。
• 演示程序成功可视化了目标类别检测结果，包括准确的边界框与 AP 分数。
• 该框架展现出良好的鲁棒性与可用性，单张 NVIDIA GTX 1080 GPU 上训练约耗时 12 小时，共 490,000 次迭代。
• 系统支持便捷的模型部署，用户可将训练好的 caffemodel 移动至指定目录，并在 demo.py 中更新模型路径。