[论文解读] Joint Learning of Saliency Detection and Weakly Supervised Semantic Segmentation

Yu Zeng, Yunzhi Zhuge+2 more|arXiv (Cornell University)|Sep 9, 2019

Visual Attention and Saliency Detection参考文献 62被引用 69

一句话总结

本文提出了 SSNet，一种统一的多任务网络，端到端地联合学习显著性检测和弱监督语义分割，通过一个显著性聚合模块将两者连接起来。

ABSTRACT

Existing weakly supervised semantic segmentation (WSSS) methods usually utilize the results of pre-trained saliency detection (SD) models without explicitly modeling the connections between the two tasks, which is not the most efficient configuration. Here we propose a unified multi-task learning framework to jointly solve WSSS and SD using a single network, \ie saliency, and segmentation network (SSNet). SSNet consists of a segmentation network (SN) and a saliency aggregation module (SAM). For an input image, SN generates the segmentation result and, SAM predicts the saliency of each category and aggregating the segmentation masks of all categories into a saliency map. The proposed network is trained end-to-end with image-level category labels and class-agnostic pixel-level saliency labels. Experiments on PASCAL VOC 2012 segmentation dataset and four saliency benchmark datasets show the performance of our method compares favorably against state-of-the-art weakly supervised segmentation methods and fully supervised saliency detection methods.

研究动机与目标

• 通过明确建模其与显著性检测（SD）的联系来激励改进弱监督语义分割（WSSS）。
• 开发一个端到端网络，联合预测语义分割和显著性图。
• 利用图像级类别标签和像素级显著性标注来训练单一模型。
• 通过一个桥接模块实现显著性推断引导分割，反之亦然。

提出的方法

• 提出由分割网络（SN）和显著性聚合模块（SAM）组成的 SSNet。
• SAM 为每个类别预测一个显著性分数，并通过 S = sum_i v_i * H_i 将类别掩码聚合为单一显著性图。
• 分两阶段训练：SSNet-1 使用图像级标签和显著性图；SSNet-2 使用来自 SSNet-1 的伪标签以及显著性图。
• 使用两种损失：L_c 用于图像级类别监督，L_s1 将推导的显著性图与真实值对齐；后续引入 L_s2 结合伪标签进行细化。
• 采用 DenseNet-169 作为特征提取器，并采用膨胀卷积以保持分辨率；分割结果除了显著性图的 CRF 精炼之外没有后处理。

实验结果

研究问题

• RQ1 一个单一网络是否能够有效地联合执行显著性检测和弱监督语义分割？
• RQ2 显著性聚合模块如何将类别特定的分割掩码桥接成准确的显著性图？
• RQ3 多任务训练是否比单任务的 WSSS 方法提升分割性能？
• RQ4 在使用像素级显著性标签与图像级类别标签同时训练时，端到端训练是否可行？
• RQ5 来自第一阶段模型的伪标签是否能在第二阶段训练中进一步提升分割性能？

主要发现

• 所提出的 SSNet-1 在使用图像级标签和显著性图进行训练时，相比单任务训练能提升分割性能（mIOU 更高）。
• 使用伪标签和显著性数据的 SSNet-2 在分割性能上进一步优于 SSNet-1。
• 联合多任务训练并不损害显著性检测，在基准数据集上取得有竞争力的显著性指标。
• 端到端框架优于若干弱监督分割方法，并且达到或超过某些全监督显著性探测器的水平。
• 显著性聚合模块能够有效将所有类别的分割掩码耦合，生成类别感知的显著性图来引导学习。