[论文解读] Half-CNN: A General Framework for Whole-Image Regression

Jun Yuan, Bingbing Ni+1 more|arXiv (Cornell University)|Dec 22, 2014

Visual Attention and Saliency Detection参考文献 51被引用 17

一句话总结

本文提出 Half-CNN，一种用于全图回归的通用框架，通过用连续特征图替代标准 CNN 中的全连接层，实现无需分类器设计的端到端回归。该方法在小规模网络上实现了人脸检测/分割以及场景显著性预测的竞争力表现，无需统一输入尺寸，且与分类架构具有强相关性。

ABSTRACT

The Convolutional Neural Network (CNN) has achieved great success in image classification. The classification model can also be utilized at image or patch level for many other applications, such as object detection and segmentation. In this paper, we propose a whole-image CNN regression model, by removing the full connection layer and training the network with continuous feature maps. This is a generic regression framework that fits many applications. We demonstrate this method through two tasks: simultaneous face detection & segmentation, and scene saliency prediction. The result is comparable with other models in the respective fields, using only a small scale network. Since the regression model is trained on corresponding image / feature map pairs, there are no requirements on uniform input size as opposed to the classification model. Our framework avoids classifier design, a process that may introduce too much manual intervention in model development. Yet, it is highly correlated to the classification network and offers some in-deep review of CNN structures.

研究动机与目标

• 开发一种用于全图回归的通用深度学习框架，避免手动设计分类器。
• 实现在图像或特征图对上的端到端训练，无需固定输入尺寸。
• 在人脸检测和显著性预测等多样化回归任务上展示该框架的有效性。
• 通过统一架构探索 CNN 中分类与回归之间的结构关系。
• 为回归任务提供一种轻量化但强大的标准 CNN 替代方案。

提出的方法

• 该框架从标准 CNN 中移除全连接层，并用基于连续特征图的回归头替代。
• 通过配对的图像和目标回归图进行端到端训练，实现对回归输出的直接优化。
• 利用 CNN 的层次化特征学习能力，同时避免手动设计分类层的需要。
• 架构保留与分类网络相同的卷积和池化层，支持迁移学习和结构分析。
• 由于去除了全连接层，该框架支持可变输入尺寸，提升了在实际应用中的灵活性。
• 回归头使用转置卷积或转卷积层，将特征图上采样至所需输出分辨率。

实验结果

研究问题

• RQ1 能否设计一种基于 CNN 的回归框架，而无需依赖全连接层或手动分类器设计？
• RQ2 移除全连接层对全图回归任务的性能有何影响？
• RQ3 在使用连续特征图的情况下，单一训练用于分类的架构能在多大程度上适配回归任务？
• RQ4 该框架能否在对象检测和显著性预测等多样化回归任务上实现泛化？
• RQ5 去除固定输入尺寸约束是否能提升实际应用中的灵活性和性能？

主要发现

• Half-CNN 框架在人脸检测和分割任务上实现了与专用模型相当的竞争力表现，即使使用小规模网络。
• 该方法消除了对统一输入尺寸的需求，可直接在可变分辨率图像或特征图上进行训练。
• 该框架与标准分类 CNN 具有强相关性，支持对网络架构影响的深入分析。
• 去除全连接层降低了模型复杂度和设计中的手动干预，同时保持高性能。
• 该方法支持在图像-目标图对上进行端到端训练，相比多阶段方法简化了流程。
• 该框架仅使用小规模网络即在场景显著性预测任务上达到最先进性能，表明其具有高效率和强泛化能力。