[论文解读] Convolutional Channel Features: Tailoring CNN to Diverse Tasks

Bin Yang, Junjie Yan+2 more|arXiv (Cornell University)|Apr 28, 2015

Advanced Neural Network Applications参考文献 40被引用 2

一句话总结

本文提出卷积通道特征（CCF），一种混合方法，将预训练卷积神经网络（CNN）的低层特征迁移至提升森林模型，实现在行人检测、人脸检测、边缘检测和目标提议生成任务中无需微调整个CNN即可达到最先进性能，同时降低计算和存储成本。

ABSTRACT

Deep learning methods are powerful tools but often suffer from expensive computation and limited flexibility. An alternative is to combine light-weight models with deep representations. As successful cases exist in several visual problems, a unified framework is absent. In this paper, we revisit two widely used approaches in computer vision, namely filtered channel features and Convolutional Neural Networks (CNN), and absorb merits from both by proposing an integrated method called Convolutional Channel Features (CCF). CCF transfers low-level features from pre-trained CNN models to feed the boosting forest model. With the combination of CNN features and boosting forest, CCF benefits from the richer capacity in feature representation compared with channel features, as well as lower cost in computation and storage compared with end-to-end CNN methods. We show that CCF serves as a good way of tailoring pre-trained CNN models to diverse tasks without fine-tuning the whole network to each task by achieving state-of-the-art performances in pedestrian detection, face detection, edge detection and object proposal generation.

研究动机与目标

• 解决端到端深度学习模型在多样化视觉任务中计算成本高且灵活性有限的问题。
• 通过整合其优势，弥合轻量级通道特征与强大深度表征之间的差距。
• 开发一种统一框架，将预训练CNN适配至多种任务，而无需针对特定任务进行微调。
• 在最小化计算和存储开销的同时，实现在多样化计算机视觉任务中的最先进性能。

提出的方法

• CCF从预训练CNN中提取低层特征，利用其分层表征能力。
• 这些特征被迁移至提升森林模型，该模型能高效学习特定任务的决策边界。
• 该方法通过冻结CNN并仅在顶部训练提升森林来避免端到端训练。
• CCF使用通道级过滤从CNN早期层提取判别性特征，同时保留空间和语义信息。
• 该框架设计为模块化，允许在多个任务中复用同一预训练CNN。
• 特征迁移经过优化，在保持高判别力的同时降低计算负载。

实验结果

研究问题

• RQ1 结合预训练CNN特征与轻量级集成分类器的混合模型，是否能在多样化视觉任务中实现最先进性能？
• RQ2 与端到端微调CNN相比，CCF在准确率、推理成本和存储需求方面表现如何？
• RQ3 在不重新训练的情况下，预训练CNN特征能在多大程度上被有效复用于不同任务？
• RQ4 将CNN表征与提升森林结合，是否优于传统通道特征或独立CNN？

主要发现

• CCF在行人检测、人脸检测、边缘检测和目标提议生成任务中均达到最先进性能。
• 与端到端CNN训练相比，该方法显著降低了计算和存储成本。
• 通过利用预训练CNN的丰富低层特征而无需微调网络，CCF保持了高准确率。
• 该框架使预训练模型能以极少的微调有效适配至多样化任务。
• 提升森林组件能有效从迁移的CNN特征中学习特定任务模式，提升泛化能力。