[论文解读] Box-driven Class-wise Region Masking and Filling Rate Guided Loss for Weakly Supervised Semantic Segmentation

Chunfeng Song, Yan Huang+2 more|arXiv (Cornell University)|Apr 26, 2019

Advanced Neural Network Applications参考文献 46被引用 15

一句话总结

该论文提出了一种基于框的类别特定掩码（BCM）模型和一种填充率引导的自适应损失（FR-loss），仅使用边界框标注进行弱监督语义分割。通过学习类别特定的掩码，并利用平均像素填充率作为先验来指导置信区域的选择，该方法提高了分割精度并减少了由不准确提议产生的噪声，在PASCAL VOC 2012上实现了最先进性能。

ABSTRACT

Semantic segmentation has achieved huge progress via adopting deep Fully Convolutional Networks (FCN). However, the performance of FCN based models severely rely on the amounts of pixel-level annotations which are expensive and time-consuming. To address this problem, it is a good choice to learn to segment with weak supervision from bounding boxes. How to make full use of the class-level and region-level supervisions from bounding boxes is the critical challenge for the weakly supervised learning task. In this paper, we first introduce a box-driven class-wise masking model (BCM) to remove irrelevant regions of each class. Moreover, based on the pixel-level segment proposal generated from the bounding box supervision, we could calculate the mean filling rates of each class to serve as an important prior cue, then we propose a filling rate guided adaptive loss (FR-Loss) to help the model ignore the wrongly labeled pixels in proposals. Unlike previous methods directly training models with the fixed individual segment proposals, our method can adjust the model learning with global statistical information. Thus it can help reduce the negative impacts from wrongly labeled proposals. We evaluate the proposed method on the challenging PASCAL VOC 2012 benchmark and compare with other methods. Extensive experimental results show that the proposed method is effective and achieves the state-of-the-art results.

研究动机与目标

• 解决从弱监督边界框标注中学习准确语义分割的挑战。
• 减少由边界框生成的不准确像素级提议带来的负面影响。
• 通过引入如每类平均填充率等全局统计线索，提升模型泛化能力。
• 开发一种基于类别特定填充率先验动态选择高置信预测区域的方法。

提出的方法

• 提出一种基于框的类别特定掩码（BCM）模型，通过学习类别特定的注意力图来抑制无关区域并突出前景物体。
• 使用无监督CRF或MCG-based方法从边界框生成初始像素级提议。
• 计算训练样本中每类的平均像素填充率，作为全局统计先验。
• 提出一种填充率引导的自适应损失（FR-loss），在反向传播过程中根据类别特定填充率调整top-k分数选择。
• 调整损失函数，优先考虑置信度分数较高的区域，并按每类的预期填充率加权。
• 在弱监督和半监督设置中应用该方法，展示了其鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 类别特定掩码能否提升弱监督语义分割中物体区域的定位能力？
• RQ2 跨样本的平均像素填充率能否作为有效的先验，用于指导弱监督学习中的损失优化？
• RQ3 基于填充率的自适应损失选择能否降低噪声或不准确提议的影响？
• RQ4 所提方法能否仅使用边界框标注在PASCAL VOC 2012上实现最先进性能？

主要发现

• 所提方法在仅使用边界框监督的情况下，在PASCAL VOC 2012基准上实现了最先进性能。
• BCM模型通过学习类别特定的注意力图，有效抑制了背景和杂乱区域。
• FR-loss通过基于类别特定填充率先验优先选择高置信预测，显著提升了模型鲁棒性。
• 该方法在半监督设置中泛化良好，在有限全标注数据下仍保持强性能。
• 定性结果表明，模型生成的分割掩码更准确且更连贯，尤其在形状和填充率多变的物体上表现更优。
• 失败案例揭示了在复杂场景（如遮挡或被衣物覆盖的物体）中的挑战，表明未来仍有改进空间。