[论文解读] A Simple Pooling-Based Design for Real-Time Salient Object Detection

Jiangjiang Liu, Qibin Hou+3 more|arXiv (Cornell University)|Apr 21, 2019

Visual Attention and Saliency Detection参考文献 48被引用 4

一句话总结

本文提出PoolNet，一种实时显著性物体检测模型，通过两种基于池化的模块——全局引导模块（GGM）用于自顶向下的语义传播，以及特征聚合模块（FAM）用于融合粗粒度与细粒度特征——来增强特征精炼。该方法在300×400图像上实现了超过30 FPS的推理速度，显著优于先前方法，在准确性和细节保留方面达到最先进性能。

ABSTRACT

We solve the problem of salient object detection by investigating how to expand the role of pooling in convolutional neural networks. Based on the U-shape architecture, we first build a global guidance module (GGM) upon the bottom-up pathway, aiming at providing layers at different feature levels the location information of potential salient objects. We further design a feature aggregation module (FAM) to make the coarse-level semantic information well fused with the fine-level features from the top-down pathway. By adding FAMs after the fusion operations in the top-down pathway, coarse-level features from the GGM can be seamlessly merged with features at various scales. These two pooling-based modules allow the high-level semantic features to be progressively refined, yielding detail enriched saliency maps. Experiment results show that our proposed approach can more accurately locate the salient objects with sharpened details and hence substantially improve the performance compared to the previous state-of-the-arts. Our approach is fast as well and can run at a speed of more than 30 FPS when processing a $300 imes 400$ image. Code can be found at http://mmcheng.net/poolnet/.

研究动机与目标

• 通过重新思考池化在U型卷积神经网络架构中的作用，提升显著性物体检测性能。
• 解决特征金字塔网络自顶向下路径中高层语义信息稀释的问题。
• 利用基于池化的机制，增强粗粒度语义特征与细粒度细节之间的特征融合。
• 在不牺牲检测准确率的前提下，实现实时推理速度。
• 探索与边缘检测联合训练，以获得更清晰的显著图边界。

提出的方法

• 全局引导模块（GGM）在主干网络顶部使用改进的金字塔池化模块（PPM），以捕捉全局上下文并为所有特征层级生成全局引导流（GGFs）。
• GGFs将深层的高层语义信息传递至浅层，抵消标准U型网络中位置线索的稀释。
• 特征聚合模块（FAM）被插入在自顶向下路径的特征融合之后，通过池化捕捉多尺度上下文，重新加权并精炼融合后的特征。
• FAM将融合后的特征转换为多个特征空间，以更好地结合粗粒度语义信息与多尺度特征。
• 模型采用端到端训练，可选择是否加入联合边缘检测分支，以提升边界清晰度。
• 该架构即插即用，兼容任意基于金字塔的CNN主干网络。

实验结果

研究问题

• RQ1 池化技术能否系统性地扩展至下采样之外，以增强显著性物体检测中的特征表示？
• RQ2 如何在不发生信号退化的情况下，有效将高层语义信息传播至浅层？
• RQ3 能否通过基于池化的机制改进粗粒度语义图与细粒度特征之间的特征融合？
• RQ4 与边缘检测联合训练是否能提升预测显著图的质量与清晰度？
• RQ5 简单的基于池化的设计能否在保持实时推理速度的同时实现最先进性能？

主要发现

• 在六个基准数据集上，PoolNet在F-measure和MAE指标上均达到最佳性能，全面超越所有先前的最先进方法。
• 在DUT-OMRON数据集上，使用ResNet-50的PoolNet取得F-measure为0.925、MAE为0.034，F-measure相比之前最佳方法提升超过1.5%。
• 在300×400图像上，模型推理速度超过30 FPS，显著快于先前方法（例如PiCANet仅7 FPS）。
• 在HKU-IS数据集上，与标准边缘检测联合训练可使MAE降低最多12%，证明边界定位能力得到提升。
• 消融实验表明，GGM与FAM均对性能提升有显著贡献，其中GGM对全局上下文建模起关键作用，FAM则在多尺度融合中发挥核心作用。
• 使用ResNet-50在5,000张图像上训练PoolNet耗时不足6小时，由于高效的基于池化的结构设计，训练速度显著快于大多数先前方法。