[论文解读] MFNet: Multi-filter Directive Network for Weakly Supervised Salient Object Detection

Yongri Piao, Jian Wang+2 more|arXiv (Cornell University)|Dec 3, 2021

Visual Attention and Saliency Detection被引用 9

一句话总结

本文提出MFNet，一种用于弱监督显著性目标检测的多滤波指令网络，通过利用来自不同精炼算法的多个伪标签，克服单标签方法的偏差。通过使用多个指令滤波器，借助多指导损失提取并整合鲁棒的显著性线索，MFNet在五个基准数据集上实现了最先进性能，优于现有方法，并在$F_{\beta}^\omega$指标上将成熟基线方法MSW的性能提升高达9.1%。

ABSTRACT

Weakly supervised salient object detection (WSOD) targets to train a CNNs-based saliency network using only low-cost annotations. Existing WSOD methods take various techniques to pursue single "high-quality" pseudo label from low-cost annotations and then develop their saliency networks. Though these methods have achieved good performance, the generated single label is inevitably affected by adopted refinement algorithms and shows prejudiced characteristics which further influence the saliency networks. In this work, we introduce a new multiple-pseudo-label framework to integrate more comprehensive and accurate saliency cues from multiple labels, avoiding the aforementioned problem. Specifically, we propose a multi-filter directive network (MFNet) including a saliency network as well as multiple directive filters. The directive filter (DF) is designed to extract and filter more accurate saliency cues from the noisy pseudo labels. The multiple accurate cues from multiple DFs are then simultaneously propagated to the saliency network with a multi-guidance loss. Extensive experiments on five datasets over four metrics demonstrate that our method outperforms all the existing congeneric methods. Moreover, it is also worth noting that our framework is flexible enough to apply to existing methods and improve their performance.

研究动机与目标

• 为解决弱监督显著性目标检测（WSOD）中单伪标签方法的局限性，这类方法易受精炼算法特性的影响。
• 开发一种框架，整合来自多个噪声伪标签的全面且准确的显著性线索，以提升模型鲁棒性。
• 设计一种灵活可扩展的架构，可应用于现有WSOD方法以提升其性能。
• 通过利用多样化精炼策略的互补信息，减少对单一高质量伪标签的依赖。

提出的方法

• 提出一种多滤波指令网络（MFNet），包含显著性网络和多个指令滤波器，用于从多个伪标签中提取显著性线索。
• 在类别激活图上应用两种不同的精炼算法——像素级与超像素级——以生成两个互补的伪标签。
• 利用指令滤波器从每个噪声伪标签中过滤并提取准确的显著性线索，降低噪声与不完整预测的影响。
• 引入多指导损失，将多个指令滤波器的过滤后线索同时传播至显著性解码器。
• 在指令滤波器之间引入自监督策略，通过可学习超参数δ，促进一致的引导与线索整合。
• 通过将现有WSOD方法的单伪标签头替换为多伪标签框架，实现对现有WSOD方法的灵活扩展。

实验结果

研究问题

• RQ1 通过整合来自多样化精炼策略的多个伪标签，能否提升弱监督显著性目标检测中的鲁棒性与准确性？
• RQ2 如何有效过滤和融合多个噪声伪标签，以提取更全面且准确的显著性线索？
• RQ3 引导多个指令滤波器从不同伪标签中学习互补且一致的显著性线索的最优策略是什么？
• RQ4 所提出的框架能否在无需架构重构的情况下推广至现有WSOD方法并提升其性能？
• RQ5 指令滤波器之间的自监督机制如何影响性能与收敛性？

主要发现

• MFNet在五个基准数据集（ECSSD、DUTS-Test、HKU-IS、PASCAL-S、DUT-OMRON）上，于四个指标（包括$F_{\beta}^\omega$、$F_{\beta}$、$M$和MAE）上均达到最先进性能。
• 当将所提框架应用于ECSSD数据集时，MFNet使现有MSW方法在$F_{\beta}^\omega$指标上的性能提升9.1%。
• 消融实验表明，与单标签基线相比，使用多个伪标签和多指导损失可显著提升性能。
• 最优自监督超参数δ = 2可取得最佳性能，表明鼓励指令滤波器之间相似性有助于提升线索整合效果。
• 可视化分析表明，MFNet生成的显著性图更完整且准确，尤其在复杂背景或部分物体等挑战性场景中表现更优。
• 该框架具有高度灵活性，仅通过添加指令滤波器即可扩展至其他WSOD方法，展现出强大的泛化能力与模块化特性。