[论文解读] Few-Cost Salient Object Detection with Adversarial-Paced Learning

Dingwen Zhang, Haibin Tian+1 more|arXiv (Cornell University)|Apr 5, 2021

Visual Attention and Saliency Detection被引用 10

一句话总结

该论文提出了一种对抗式学习步调（Adversarial-Paced Learning, APL）框架，用于少样本成本显著性物体检测，其中仅有少量训练图像需要像素级标注。通过用数据驱动的对抗机制替代启发式自步正则化器，动态分配伪标签像素的可靠性权重，该方法仅使用1,000张标注图像即可实现与全监督模型相当的性能。

ABSTRACT

Detecting and segmenting salient objects from given image scenes has received great attention in recent years. A fundamental challenge in training the existing deep saliency detection models is the requirement of large amounts of annotated data. While gathering large quantities of training data becomes cheap and easy, annotating the data is an expensive process in terms of time, labor and human expertise. To address this problem, this paper proposes to learn the effective salient object detection model based on the manual annotation on a few training images only, thus dramatically alleviating human labor in training models. To this end, we name this task as the few-cost salient object detection and propose an adversarial-paced learning (APL)-based framework to facilitate the few-cost learning scenario. Essentially, APL is derived from the self-paced learning (SPL) regime but it infers the robust learning pace through the data-driven adversarial learning mechanism rather than the heuristic design of the learning regularizer. Comprehensive experiments on four widely-used benchmark datasets demonstrate that the proposed method can effectively approach to the existing supervised deep salient object detection models with only 1k human-annotated training images. The project page is available at https://github.com/hb-stone/FC-SOD.

研究动机与目标

• 通过仅使用少量人工标注图像来实现有效模型训练，解决深度显著性检测中的高标注成本问题。
• 克服依赖人工设计规则的启发式自步学习正则化器在低数据场景下的局限性，避免欠拟合或误导学习。
• 开发一种数据驱动的学习步调机制，自适应地从无标注图像中识别出可靠的伪标签，以提升模型泛化能力。
• 证明少样本学习可实现接近全监督模型的性能，显著降低人工标注负担。

提出的方法

• 提出一种基于自步学习（Self-Paced Learning, SPL）的对抗式学习步调（APL）框架，其中学习步调通过对抗训练推断，而非启发式正则化器。
• 引入一种全局结构引导的像素加权（Pixel Weighting, PW）模块，基于显著性结构和与真实标签的一致性，计算图像区域的可靠性得分。
• 将学习目标形式化为一个极小化-极大化博弈：生成器生成显著性预测，判别器区分真实（真实标签）和虚假（伪标签）掩码。
• 利用判别器的置信度分数作为可靠性权重，指导显著性网络的训练，优先关注高置信度的伪标签。
• 采用一种类似SPL的替代优化策略，但通过对抗反馈实现数据驱动的权重分配。
• 将PW模块集成到APL框架中，以在伪标签优化过程中保持显著性物体的结构完整性。

实验结果

研究问题

• RQ1 在少样本成本显著性物体检测中，数据驱动的学习步调机制是否能优于启发式自步正则化器？
• RQ2 当仅有少量标注图像时，对抗学习在从无标注图像中识别可靠伪标签方面的有效性如何？
• RQ3 在仅使用1,000张标注图像训练的情况下，模型在多大程度上能匹配全监督模型的性能？
• RQ4 与基线方法相比，所提出的APL框架在伪标签生成过程中是否能保持显著性物体的结构保真度？
• RQ5 该方法在不同标注数据比例（如1%、5%、10%）下是否具有鲁棒性？

主要发现

• 所提出的APL方法在仅使用1,000张标注图像训练时，在DUTS-TE数据集上达到0.863的maxF分数，优于现有弱监督方法。
• 仅使用1%的训练数据（1,000张图像），该模型在maxF指标上达到了全监督模型性能的95.48%。
• 消融实验证明，传统自步学习方法在缺乏$γ$-正则化器时无法提升基线性能，表明其在低数据场景下泛化能力差。
• 在伪标签生成过程中，APL框架能有效保持显著性物体的结构完整性，显著优于基线方法。
• 该方法在不同标注数据比例（1%、5%、10%）下均表现出强鲁棒性，性能稳定。
• 消融研究进一步验证了PW模块和对抗学习机制的必要性，二者协同作用显著提升模型性能。