[论文解读] Feature Binding with Category-Dependant MixUp for Semantic Segmentation and Adversarial Robustness

Amirul Islam, Matthew Kowal+2 more|arXiv (Cornell University)|Aug 13, 2020

Adversarial Robustness in Machine Learning参考文献 38被引用 4

一句话总结

本文提出了一种类别依赖的 MixUp 方法用于语义分割，通过基于类别标签混合图像，训练网络以同时实现图像分割与源图像分离。该方法在 DeepLabv3 的基础上将 mIoU 提升了 2.1%，并通过结构化数据混合与去噪强化特征绑定，显著提升了对对抗性攻击的鲁棒性，尤其在极端扰动下表现更优。

ABSTRACT

In this paper, we present a strategy for training convolutional neural networks to effectively resolve interference arising from competing hypotheses relating to inter-categorical information throughout the network. The premise is based on the notion of feature binding, which is defined as the process by which activation's spread across space and layers in the network are successfully integrated to arrive at a correct inference decision. In our work, this is accomplished for the task of dense image labelling by blending images based on their class labels, and then training a feature binding network, which simultaneously segments and separates the blended images. Subsequent feature denoising to suppress noisy activations reveals additional desirable properties and high degrees of successful predictions. Through this process, we reveal a general mechanism, distinct from any prior methods, for boosting the performance of the base segmentation network while simultaneously increasing robustness to adversarial attacks.

研究动机与目标

• 通过提升跨类别的特征绑定能力，解决语义分割中竞争假设带来的干扰。
• 在不修改网络架构的前提下，增强模型对对抗性攻击的鲁棒性。
• 开发一种训练策略，实现密集图像标注与盲源分离的同步进行。
• 通过结构化数据增强降低对架构创新的依赖，提升模型泛化能力。
• 探究类别感知的图像混合是否能带来更好的上下文理解与预测精度。

提出的方法

• 采用基于类别的混合策略，按类别对样本进行聚类，以在训练数据中构建结构化的‘类别碰撞’。
• 在混合数据集上训练一个特征绑定网络，使其能够同时分割并分离原始图像，强制空间激活与特征激活之间建立对应关系。
• 在训练后引入特征去噪阶段，以抑制噪声激活并优化预测结果。
• 引入特征绑定头，引导网络基于源图像与幻象激活做出更明智的最终预测。
• 采用基于 ResNet101 的分布式门控网络作为主干网络，并在训练后应用去噪微调以提升性能。
• 训练过程强制网络通过将不同来源的特征关联到其正确的语义区域，来学习解决模糊激活的能力。

实验结果

研究问题

• RQ1 结构化且类别依赖的图像混合是否能在性能上超越标准 MixUp 和 CutMix？
• RQ2 在训练过程中强制实施特征绑定是否能增强模型对对抗性攻击的鲁棒性？
• RQ3 图像配对策略的选择（如随机配对与基于类别的配对）如何影响模型的泛化能力与性能表现？
• RQ4 在存在对抗性扰动的情况下，特征去噪在多大程度上能提升预测精度与鲁棒性？
• RQ5 单一网络架构是否能通过数据级增强同时实现密集标注与盲源分离？

主要发现

• 所提出的类别依赖 MixUp 方法在 PASCAL VOC 2012 验证集上实现了 78.0 的 mIoU，较 DeepLabv3（75.9）提升了 2.1%。
• 该方法显著优于标准 MixUp 与 CutMix；其中 CutMix 在对抗性攻击下 mIoU 显著下降，而本方法保持鲁棒性。
• 在训练后应用特征去噪可使 mIoU 从 76.2 提升至 78.0，证明其在优化预测结果方面的有效性。
• 引入特征绑定头后，mIoU 从 75.3 提升至 76.1，表明其在通过优化激活融合实现更优最终预测方面具有关键作用。
• 在极端对抗性设置（R-No 与 R-Part）下，模型表现出极强的鲁棒性，优于 DeepLabv3、Mixup 与 CutMix 的对抗泛化能力。
• 基于聚类的混合方式（C_fb）的 mIoU 高于随机配对（R_fb）或同类别内混合（Ca_fb），证明了在数据增强中战略性碰撞设计的重要性。