[论文解读] Anti-Adversarially Manipulated Attributions for Weakly and Semi-Supervised Semantic Segmentation

Jungbeom Lee, Eunji Kim+1 more|arXiv (Cornell University)|Mar 16, 2021

Adversarial Robustness in Machine Learning被引用 7

一句话总结

该论文提出 AdvCAM，一种后训练方法，通过迭代操纵输入图像以提升分类得分，实现反对抗梯度上升，从而增强弱监督和半监督语义分割。通过沿提升目标类别得分的梯度方向扰动图像，AdvCAM 扩展了显著性图以覆盖更多目标物体区域，同时通过正则化抑制无关区域，最终在 PASCAL VOC 2012 上实现了 68.0（弱监督）和 76.9（半监督）的最先进 mIoU 性能。

ABSTRACT

Weakly supervised semantic segmentation produces a pixel-level localization from a classifier, but it is likely to restrict its focus to a small discriminative region of the target object. AdvCAM is an attribution map of an image that is manipulated to increase the classification score. This manipulation is realized in an anti-adversarial manner, which perturbs the images along pixel gradients in the opposite direction from those used in an adversarial attack. It forces regions initially considered not to be discriminative to become involved in subsequent classifications, and produces attribution maps that successively identify more regions of the target object. In addition, we introduce a new regularization procedure that inhibits the incorrect attribution of regions unrelated to the target object and limits the attributions of the regions that already have high scores. On PASCAL VOC 2012 test images, we achieve mIoUs of 68.0 and 76.9 for weakly and semi-supervised semantic segmentation respectively, which represent a new state-of-the-art.

研究动机与目标

• 为解决弱监督语义分割中的局限性，即分类器仅关注物体的局部判别区域而非完整物体范围。
• 开发一种方法，将这些局部显著性图扩展至覆盖更多目标物体区域，且无需修改分类器或训练过程。
• 通过迭代优化显著性图的图像操纵，提升伪掩码质量，以用于分割网络的训练。
• 抑制对背景或无关物体的虚假显著性，确保伪标签更准确且更具鲁棒性。

提出的方法

• AdvCAM 通过沿目标类别得分梯度方向迭代扰动输入图像，执行反对抗图像操纵，以提升该得分，从而逆转标准对抗攻击的方向。
• 该方法在输入图像上使用梯度上升，将图像推离决策边界，从而将此前非判别性但相关的区域纳入分类过程。
• 采用掩码正则化技术，限制已有高分区域的显著性得分，防止对物体特定部分的过度放大。
• 第二项正则化项在操纵过程中抑制其他类别的分类得分，减少对无关物体的错误显著性。
• 最终的显著性图由经操纵的图像导出，并用作训练分割网络的伪真实掩码。
• 该方法为后训练方法，兼容任意预训练分类器，无需微调或网络结构修改。

实验结果

研究问题

• RQ1 反对抗图像操纵能否有效扩展显著性图的感受野，以覆盖弱监督语义分割中目标物体的更多区域？
• RQ2 如何设计图像操纵过程，以避免在过程中过度激活背景或其它物体等无关区域？
• RQ3 所提出的正则化机制在多大程度上提升了伪掩码的质量与泛化能力，用于分割训练？
• RQ4 AdvCAM 是否可普遍应用于现有弱监督分割方法，而无需架构更改？
• RQ5 哪些超参数显著影响 AdvCAM 的性能，其在这些参数设置变化下是否具有鲁棒性？

主要发现

• 在 PASCAL VOC 2012 测试集上，AdvCAM 在弱监督语义分割设置下实现了新的最先进 mIoU 68.0。
• 在半监督设置下，AdvCAM 实现了 76.9 的 mIoU，同样达到新的 SOTA 性能。
• 采用 λ = 7 的掩码正则化相比 λ = 0，使 mIoU 提升超过 5%，证明其在抑制过度放大部分方面的有效性。
• 该方法对超参数变化具有鲁棒性：τ（掩码阈值）和 ξ（步长）在测试范围内对 mIoU 的影响极小。
• AdvCAM 平均提升多个基线方法（如 IRN、Chang et al.、SEAM）的初始种子质量超过 4% mIoU。
• t-SNE 可视化结果表明，对抗性爬升使特征远离决策边界，同时保持其流形结构，表明特征演化稳定且有意义。