[论文解读] Hypercolumns for Object Segmentation and Fine-grained Localization

Bharath Hariharan, Pablo Arbeláez+2 more|arXiv (Cornell University)|Nov 21, 2014

Advanced Neural Network Applications参考文献 36被引用 21

一句话总结

本文提出了超像素表示——即卷积神经网络（CNN）中每个像素处所有层的特征拼接——以提升细粒度定位性能。通过结合浅层的空间精度与深层的语义丰富性，该方法实现了最先进（SOTA）的性能表现：在目标检测与实例分割联合任务上，mAP达到60.0；关键点定位的APK提升3.3个百分点；在部件标注任务上相较仅使用顶层特征，性能提升6.6个百分点。

ABSTRACT

Recognition algorithms based on convolutional networks (CNNs) typically use the output of the last layer as feature representation. However, the information in this layer may be too coarse to allow precise localization. On the contrary, earlier layers may be precise in localization but will not capture semantics. To get the best of both worlds, we define the hypercolumn at a pixel as the vector of activations of all CNN units above that pixel. Using hypercolumns as pixel descriptors, we show results on three fine-grained localization tasks: simultaneous detection and segmentation[22], where we improve state-of-the-art from 49.7[22] mean AP^r to 60.0, keypoint localization, where we get a 3.3 point boost over[20] and part labeling, where we show a 6.6 point gain over a strong baseline.

研究动机与目标

• 解决仅使用CNN最后一层进行定位任务时因牺牲空间精度而带来的局限性，尽管其语义信息丰富。
• 结合浅层与深层CNN特征的优势：浅层提供空间细节，深层提供语义判别能力。
• 开发一种统一框架，利用像素级超像素描述符实现细粒度定位任务。
• 证明通过超像素实现多层级特征融合，能显著提升分割、关键点预测与部件标注任务的性能。
• 实现端到端训练神经网络，使用超像素作为像素级特征，适用于多种定位任务。

提出的方法

• 将某像素处的超像素定义为该像素上方所有CNN层激活响应的拼接，形成富含多尺度信息的特征向量。
• 将超像素作为像素级描述符，用于语义分割、部件标注等像素级分类任务。
• 以超像素作为输入特征，训练全卷积网络，支持通过反向传播进行端到端优化。
• 应用边界框回归与微调策略，进一步提升检测与关键点定位性能。
• 采用热力图回归进行关键点预测，得分综合考虑检测置信度与关键点置信度。
• 采用标准指标评估性能：检测任务使用mAP，关键点定位任务使用APK，部件标注任务使用APr_part。

实验结果

研究问题

• RQ1 将CNN多层特征联合使用，是否能超越仅使用最后一层特征，在定位精度上实现进一步提升？
• RQ2 融合多层级特征的超像素表示，在细粒度定位任务中是否优于仅使用顶层特征？
• RQ3 超像素在同时进行检测与分割、关键点定位及部件标注任务中的性能提升程度如何？
• RQ4 能否构建一个统一的深度学习框架，利用超像素实现多种定位任务的端到端训练？
• RQ5 与仅依赖最终全连接层相比，引入中间层特征对性能的影响有多大？

主要发现

• 超像素方法将联合检测与分割任务的mAP从49.7提升至60.0，创下新SOTA记录。
• 在关键点预测任务中，该方法相较之前SOTA提升3.3个APK点，经微调后额外提升1.5个百分点。
• 在部件标注任务中，基于超像素的系统相较仅使用fc7特征的强基线模型，平均在所有类别上提升6.6个百分点。
• 即使不进行微调，超像素的引入也带来了显著性能提升，且仅使用超像素的基线系统已优于HOG方法。
• 该方法在所有评估任务中均表现出一致的性能增益，证实多层级特征融合可有效提升定位精度。
• 可视化结果表明，超像素同时捕捉了空间结构与语义信息，支持高精度的像素级预测。