[论文解读] Highly Efficient Salient Object Detection with 100K Parameters

Shanghua Gao, Yongqiang Tan+4 more|arXiv (Cornell University)|Mar 12, 2020

Visual Attention and Saliency Detection参考文献 91被引用 12

一句话总结

本文提出CSNet，一种仅含100K参数的高效率显著目标检测模型，采用广义OctConv（gOctConv）模块，实现在不同阶段及层内灵活的多尺度特征融合。提出一种新型动态权重衰减方案，促进参数稀疏化，实现80%的参数压缩且性能损失可忽略不计，使模型在显著目标检测基准上达到最先进性能，同时可从零开始训练，无需ImageNet预训练。

ABSTRACT

Salient object detection models often demand a considerable amount of computation cost to make precise prediction for each pixel, making them hardly applicable on low-power devices. In this paper, we aim to relieve the contradiction between computation cost and model performance by improving the network efficiency to a higher degree. We propose a flexible convolutional module, namely generalized OctConv (gOctConv), to efficiently utilize both in-stage and cross-stages multi-scale features, while reducing the representation redundancy by a novel dynamic weight decay scheme. The effective dynamic weight decay scheme stably boosts the sparsity of parameters during training, supports learnable number of channels for each scale in gOctConv, allowing 80% of parameters reduce with negligible performance drop. Utilizing gOctConv, we build an extremely light-weighted model, namely CSNet, which achieves comparable performance with about 0.2% parameters (100k) of large models on popular salient object detection benchmarks.

研究动机与目标

• 为解决现有显著目标检测（SOD）模型计算成本过高的问题，以提升其在低功耗设备上的部署能力。
• 通过高效融合网络阶段间与阶段内多尺度特征，减少SOD模型的冗余。
• 在不损失性能的前提下实现极端模型压缩，尤其通过参数稀疏化与可学习通道剪枝实现。
• 设计一种轻量化SOD模型，可从零开始训练，避免依赖大型ImageNet预训练。
• 以极少参数实现SOTA性能，面向边缘设备实现实时推理。

提出的方法

• 提出广义OctConv（gOctConv），一种灵活的卷积模块，支持来自阶段内与阶段间特征的任意数量尺度的融合。
• 引入一种动态权重衰减方案，在训练过程中稳定通道稀疏性，并实现每尺度可学习的通道数量。
• 利用动态权重衰减促进稀疏性，实现高达80%的参数压缩，且性能损失可忽略不计。
• 构建CSNet作为轻量化SOD模型，采用gOctConv模块，从零开始训练，无需ImageNet预训练。
• 采用通道宽度扩展策略，随后进行剪枝，以探索更大的训练空间并提升压缩后模型的性能。
• 可视化学习到的通道分布，分析网络深度与分辨率层级下特征的利用情况。

实验结果

研究问题

• RQ1 能否在参数少于100K的前提下构建一个高效SOD模型，同时保持SOTA性能？
• RQ2 如何高效融合网络阶段间与阶段内多尺度特征表示，以减少冗余？
• RQ3 动态权重衰减能否有效促进参数稀疏化，同时保持模型准确率？
• RQ4 在不依赖ImageNet预训练的前提下，轻量化SOD模型在多大程度上可实现从零开始训练？
• RQ5 与标准或原始OctConv相比，所提出的gOctConv模块在SOD任务中灵活性与效率方面表现如何？

主要发现

• CSNet仅用100K参数，性能与大型SOTA模型相当，参数量约为大型模型的0.2%。
• 动态权重衰减方案实现高达80%的参数压缩，性能损失可忽略不计，且在训练过程中保持稳定的稀疏性。
• 从零开始训练的CSNet在F-measure上优于多个现有轻量化模型，F-measure最高比其他任务专用模型高出6%，且推理速度快10倍。
• 与标准权重衰减相比，采用动态权重衰减训练的模型在各层（尤其是深层）表现出更稳定的通道分布。
• 剪枝实验表明，初始通道宽度越大，性能越好，且剪枝后的模型性能与初始模型相当或略有提升。
• 运行时评估显示，CSNet在单核CPU上相比PiCANet和PoolNet等大型模型实现超过10倍的加速。