[论文解读] DeepUSPS: Deep Robust Unsupervised Saliency Prediction With Self-Supervision

Duc Tam Nguyen, Maximilian Dax+5 more|arXiv (Cornell University)|Sep 28, 2019

Visual Attention and Saliency Detection被引用 28

一句话总结

本文提出 DeepUSPS，一种两阶段无监督显著性检测框架，首先利用深度网络和迭代自监督机制对从手工设计显著性方法生成的噪声伪标签进行精炼，然后在精炼后的标签上训练最终的显著性检测网络。该方法实现了当前最先进的无监督性能，F-score 相对提升高达 21%，误差降低 29%，媲美完全监督的 SOTA 模型。

ABSTRACT

Deep neural network (DNN) based salient object detection in images based on high-quality labels is expensive. Alternative unsupervised approaches rely on careful selection of multiple handcrafted saliency methods to generate noisy pseudo-ground-truth labels. In this work, we propose a two-stage mechanism for robust unsupervised object saliency prediction, where the first stage involves refinement of the noisy pseudo labels generated from different handcrafted methods. Each handcrafted method is substituted by a deep network that learns to generate the pseudo labels. These labels are refined incrementally in multiple iterations via our proposed self-supervision technique. In the second stage, the refined labels produced from multiple networks representing multiple saliency methods are used to train the actual saliency detection network. We show that this self-learning procedure outperforms all the existing unsupervised methods over different datasets. Results are even comparable to those of fully-supervised state-of-the-art approaches. The code is available at https://tinyurl.com/wtlhgo3 .

研究动机与目标

• 通过实现无监督训练，解决显著性检测中像素级人工标注的高成本与稀缺性问题。
• 克服现有无监督方法直接融合手工显著性模型生成的噪声伪标签所存在的局限性。
• 通过在最终融合前独立精炼伪标签，提升伪标签质量，保留方法多样性并增强监督信号的保真度。
• 开发一种自监督机制，通过图像间一致性与移动平均预测，逐步提升伪标签质量。
• 在无需人工标注真实标签的情况下，实现与完全监督的 SOTA 模型相当的性能。

提出的方法

• 将每种传统手工设计的显著性方法替换为一个深度神经网络，该网络学习从原始图像生成伪标签，作为原始方法的代理。
• 应用图像间一致性训练，通过利用共享特征并最小化分布偏移，对齐不同图像间的伪标签。
• 实施一种基于显著性检测网络预测移动平均值的迭代自监督机制，分多步逐步精炼伪标签。
• 使用多个深度代理网络生成的精炼伪标签作为监督信号，训练最终的显著性检测网络。
• 引入多视角聚合（MVA）策略，融合来自不同精炼网络的预测结果，提升模型鲁棒性与一致性。
• 采用课程学习方法，使精炼过程按阶段推进：初始代理网络训练、图像间一致性训练、以及迭代自监督。

实验结果

研究问题

• RQ1 对手工显著性方法生成的伪标签进行迭代精炼，能否提升无监督显著性检测的性能？
• RQ2 用深度代理网络替代手工方法，能否提升伪标签的质量与多样性？
• RQ3 通过移动平均和图像间一致性实现的自监督，能在多大程度上提升伪标签质量？
• RQ4 来自多种方法的精炼伪标签能否实现与完全监督 SOTA 模型相当的性能？
• RQ5 所提出的流程在标准基准上与现有无监督及监督基线相比，定量表现如何？

主要发现

• 与以往无监督方法相比，DeepUSPS 在基准数据集上实现了 F-score 误差相对降低 21%，平均绝对误差（MAE）相对降低 29%。
• 该方法优于 SBF 和 USD 两种领先的无监督方法，在 MSRA-B 和 DUT-OSB 数据集上 F-score 绝对提升达 2.5–3.5%。
• 经过两次自监督迭代后，MSRA-B 上的 F-score 达到 89.07%，MAE 降低至 4.52%，表明伪标签精炼质量极高。
• 来自深度代理网络的精炼伪标签在一致性和准确性方面均有显著提升，F-score 从约 85% 提升至 89% 以上。
• 在精炼标签上训练的最终显著性检测网络，其性能可与完全监督的 SOTA 模型相媲美，证明高质量伪标签可替代人工标注。
• 消融实验证实，图像间一致性和自监督机制均至关重要，后者即使在初始一致性训练后仍能带来增量性能提升。