[论文解读] Mini-batch graphs for robust image classification

Arnab Kumar Mondal, Vineet Jain+1 more|arXiv (Cornell University)|Apr 22, 2021

Adversarial Robustness in Machine Learning参考文献 35被引用 8

一句话总结

本文提出了一种小批量图神经网络（MBGNNs），通过图卷积网络在训练小批量内聚合相似图像的特征，从而在不引入额外损失项的情况下提升分类准确率，并增强对对抗性攻击和图像扰动的鲁棒性。该方法引入的计算开销极低，并通过减少模式崩溃现象改善了生成对抗网络（GAN）的训练效果。

ABSTRACT

Current deep learning models for classification tasks in computer vision are trained using mini-batches. In the present article, we take advantage of the relationships between samples in a mini-batch, using graph neural networks to aggregate information from similar images. This helps mitigate the adverse effects of alterations to the input images on classification performance. Diverse experiments on image-based object and scene classification show that this approach not only improves a classifier's performance but also increases its robustness to image perturbations and adversarial attacks. Further, we also show that mini-batch graph neural networks can help to alleviate the problem of mode collapse in Generative Adversarial Networks.

研究动机与目标

• 通过利用小批量内样本间的相互关系，提升图像分类对对抗性攻击和输入扰动的鲁棒性。
• 通过基于图的特征聚合隐式鼓励相似嵌入，从而克服对比损失和亲和力损失方法的局限性。
• 通过小批量图学习增强特征多样性，缓解生成对抗网络（GAN）中的模式崩溃问题。
• 开发一种模块化、计算高效的方法，兼容标准深度学习流水线，并可拓展至图像分类之外的应用场景。

提出的方法

• 使用特征相似性定义图像之间的边，为每个小批量构建样本级别的图。
• 应用图卷积网络（GCNs）在小批量图中跨节点（图像）聚合特征，实现相似样本之间的信息传递。
• 将图网络的输出作为每个图像的优化表示，随后输入分类器头部。
• 将MBGNN作为即插即用模块集成到标准卷积神经网络（CNN）的最后层，仅需对网络架构进行少量修改。
• 在Attn-MBGNN中引入注意力机制，动态加权图中邻近节点的贡献，提升模型的自适应能力。
• 在GAN训练中通过MC-MBGNN（小批量对比MBGNN）集成MBGNN模块，以增强生成器的多样性并减少模式崩溃。

实验结果

研究问题

• RQ1 在小批量内基于图的特征聚合是否能提升图像分类性能并增强对扰动的鲁棒性？
• RQ2 通过MBGNN实现的隐式相似性学习是否在鲁棒性和准确率方面优于显式的对比损失或亲和力损失函数？
• RQ3 MBGNN是否能通过促进生成样本的多样性，有效减少生成对抗网络（GAN）训练中的模式崩溃？
• RQ4 与标准ResNet基线相比，MBGNN模块在黑箱对抗性攻击下的表现如何？
• RQ5 将MBGNN集成到现有深度学习流水线中的计算和架构开销如何？

主要发现

• 在CIFAR-10数据集上，MBGNN在局部高斯模糊和像素级高斯噪声扰动下，测试准确率最高提升了2%，表明其对图像扰动具有良好的鲁棒性。
• 表现最佳的MBGNN变体在对抗性攻击下相比基线ResNet准确率提高了1.5–2%，且成功攻击前的中位查询次数显著更高（某些情况下高出10倍）。
• 注意力增强的MBGNN（Attn-MBGNN）相比标准MBGNN表现出更好的鲁棒性，但效果不如标准MBGNN，可能是因为注意力权重在输入扰动下敏感性叠加，导致性能下降。
• MC-MBGNN相比原始GAN将NDB得分降低了最多30%，表明模式崩溃显著减少，生成样本的多样性明显提升。
• 该方法引入的计算开销极低，仅增加少量额外参数，且与标准CNN架构完全兼容。
• MBGNN模块在多个数据集（CIFAR-10、CelebA）和多种架构上均表现良好，展现出一致的性能提升和鲁棒性增强。