[论文解读] A Fast and Compact Saliency Score Regression Network Based on Fully Convolutional Network

Xuanyang Xi, Yongkang Luo+3 more|arXiv (Cornell University)|Feb 2, 2017

Visual Attention and Saliency Detection参考文献 4被引用 6

一句话总结

该论文提出了一种快速且紧凑的基于全卷积网络（FCN）的显著性得分回归模型，可直接在无需预处理或后处理的情况下实时预测密集的全分辨率显著性图。通过用全卷积层替换VGG-16的全连接层，并采用自定义损失函数，该方法在35 FPS下实现了最先进的精度，显著优于现有深度学习方法的推理速度，同时保持了高准确性。

ABSTRACT

Visual saliency detection aims at identifying the most visually distinctive parts in an image, and serves as a pre-processing step for a variety of computer vision and image processing tasks. To this end, the saliency detection procedure must be as fast and compact as possible and optimally processes input images in a real time manner. It is an essential application requirement for the saliency detection task. However, contemporary detection methods often utilize some complicated procedures to pursue feeble improvements on the detection precession, which always take hundreds of milliseconds and make them not easy to be applied practically. In this paper, we tackle this problem by proposing a fast and compact saliency score regression network which employs fully convolutional network, a special deep convolutional neural network, to estimate the saliency of objects in images. It is an extremely simplified end-to-end deep neural network without any pre-processings and post-processings. When given an image, the network can directly predict a dense full-resolution saliency map (image-to-image prediction). It works like a compact pipeline which effectively simplifies the detection procedure. Our method is evaluated on six public datasets, and experimental results show that it can achieve comparable or better precision performance than the state-of-the-art methods while get a significant improvement in detection speed (35 FPS, processing in real time).

研究动机与目标

• 为解决复杂场景中缺乏实时、高效显著性检测方法的问题。
• 消除深度学习显著性模型中常见的耗时预处理和后处理步骤。
• 开发一种端到端、单阶段网络，可直接从全分辨率输入回归生成密集的显著性图。
• 在保持最小模型尺寸和快速推理速度的同时，实现高精度，以适应实际部署需求。
• 验证为FCN框架中显著性得分回归量身定制的新损失函数的有效性。

提出的方法

• 该方法采用修改后的VGG-16网络，将全连接层替换为全卷积层，以实现端到端的全分辨率输出。
• 采用单个全分辨率输入以保留自然视觉信息，避免下采样。
• 使用双三次插值层将特征图上采样至原始图像尺寸，以保持空间分辨率。
• 设计了一种自定义损失函数，以引导网络实现精确的像素级显著性得分回归。
• 网络以端到端方式训练，无需任何超像素、区域级或基于CRF的后处理。
• 通过移除多尺度输入和局部-全局特征融合，进一步简化网络架构，提升速度与紧凑性。

实验结果

研究问题

• RQ1 全卷积网络是否能在无需预处理或后处理的情况下实现高精度显著性检测？
• RQ2 所提出的损失函数与标准损失函数（如欧氏距离或交叉熵）相比，在显著性回归任务中的表现如何？
• RQ3 架构简化措施（如移除多尺度输入）对速度与精度的影响如何？
• RQ4 紧凑的实时显著性检测模型是否能在基准数据集上保持具有竞争力的性能？
• RQ5 在实际部署场景中，该模型的推理速度与当前最先进方法相比如何？

主要发现

• 所提方法实现了35 FPS的推理速度，显著优于现有基于深度学习的方法，后者通常每张图像耗时超过100 ms。
• 在六个公开数据集上，该模型在AUC、F-measure和MAE指标上达到与最先进方法相当或更优的性能。
• 模型大小仅为81.9 MB，高度紧凑，适用于资源受限设备的部署。
• 控制实验表明，所提出的损失函数在所有评估指标上均优于欧氏距离和交叉熵损失。
• 该方法在无需复杂后处理（如CRF）的情况下仍能保持高精度，而CRF在以往工作中常被用于提升性能。
• 消融研究证实，架构简化措施（如移除多尺度输入和局部-全局特征融合）显著提升了推理速度，且精度损失极小。