[论文解读] Towards Reliable Evaluation and Fast Training of Robust Semantic Segmentation Models

Francesco Croce, Naman D Singh+1 more|arXiv (Cornell University)|Jun 22, 2023

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了一种新颖的集成攻击方法（SEA），通过互补的损失函数和优化策略，显著提升了语义分割的对抗鲁棒性评估。该方法进一步通过微调对抗性预训练的ImageNet主干网络，实现了快速、高效的SOTA鲁棒分割模型训练，使在Pascal-VOC上的训练成本降低至原来的1/6，并在Ade20K上首次实现了鲁棒模型。

ABSTRACT

Adversarial robustness has been studied extensively in image classification, especially for the $\ell_\infty$-threat model, but significantly less so for related tasks such as object detection and semantic segmentation, where attacks turn out to be a much harder optimization problem than for image classification. We propose several problem-specific novel attacks minimizing different metrics in accuracy and mIoU. The ensemble of our attacks, SEA, shows that existing attacks severely overestimate the robustness of semantic segmentation models. Surprisingly, existing attempts of adversarial training for semantic segmentation models turn out to be weak or even completely non-robust. We investigate why previous adaptations of adversarial training to semantic segmentation failed and show how recently proposed robust ImageNet backbones can be used to obtain adversarially robust semantic segmentation models with up to six times less training time for PASCAL-VOC and the more challenging ADE20k. The associated code and robust models are available at https://github.com/nmndeep/robust-segmentation

研究动机与目标

• 解决语义分割中对抗鲁棒性评估缺乏可靠且强效协议的问题。
• 通过利用预训练的鲁棒ImageNet分类器，克服语义分割模型对抗训练的高计算成本。
• 开发一种更有效且全面的攻击框架，相较于现有方法更能暴露模型的脆弱性。
• 建立一种新的鲁棒语义分割训练范式，实现高鲁棒性的同时显著缩短训练时间。
• 通过计算高效的微调方法，在Pascal-VOC和Ade20K数据集上均实现SOTA鲁棒性表现。

提出的方法

• 提出专为像素级分割攻击设计的新损失函数，特别针对将所有像素的预测结果翻转，而非仅图像级预测。
• 改进优化算法（如PGD）以更好地处理分割任务中高维、逐像素的特性，提升攻击成功率。
• 提出分割集成攻击（SEA），通过组合多个具有互补损失函数的攻击方法，形成最坏情况下的评估协议，类似于分类任务中的AutoAttack。
• 利用近期训练好的鲁棒ImageNet分类器作为分割模型的预训练主干网络，实现高效微调，而非从零开始进行完整的对抗训练。
• 在分割头部分采用增加训练轮数和攻击步数的对抗训练策略，同时以鲁棒ImageNet主干网络作为初始化，以提升收敛速度与鲁棒性。
• 采用多目标评估策略，通过SEA集成攻击下的像素准确率和mIoU来衡量鲁棒性，确保评估的全面性。

Figure 2: Testing difference between const- $\epsilon$ and red- $\epsilon$ schemes. Under the same iteration budget for the robust init. AT 5 model, across different losses we see radius reduction (red- $\epsilon$ ) scheme leads to most drop in robust Acc . Specifically for worst-case over all losse

实验结果

研究问题

• RQ1 现有的图像分类对抗攻击方法能否直接应用于语义分割？是否存在因任务特异性挑战而失效的情况？
• RQ2 如何调整目标函数与优化过程，以有效攻击分割模型并实现所有像素预测的翻转？
• RQ3 是否可以通过组合具有互补损失函数的多种攻击方法，实现比单一攻击更可靠、更强的模型鲁棒性评估？
• RQ4 是否可能在显著降低计算成本的前提下，实现语义分割的SOTA对抗鲁棒性？
• RQ5 能否有效微调对抗性预训练的ImageNet主干网络，以高效训练出鲁棒的分割模型？

主要发现

• 所提出的SEA集成攻击优于现有方法，揭示了以往评估高估了模型鲁棒性，平均像素准确率最高高估达10%，mIoU最高高估达6%。
• 从干净初始化开始进行对抗训练的模型需高达300个训练轮次才能获得良好鲁棒性，而使用鲁棒ImageNet主干网络的模型仅需32至128个训练轮次即可达到相当或更优的鲁棒性。
• 使用鲁棒主干网络进行微调，使训练鲁棒分割模型的计算成本相比从零开始训练降低了最多6倍。
• 该方法在Pascal-VOC上实现了SOTA鲁棒性，并在更具挑战性的Ade20K数据集中首次建立了鲁棒模型。
• 采用该方法训练的鲁棒模型在干净数据上保持了强大的性能，避免了标准对抗训练中常见的准确率下降问题。
• 即使仅使用鲁棒主干网络进行32轮训练，该模型在Ade20K数据集上ε = 4/255时的鲁棒性表现也优于从干净初始化训练128轮的模型。

Figure 3: Testing difference between const- $\epsilon$ and red- $\epsilon$ schemes. Under the same iteration budget for the robust init. AT 5 model, across different losses we see red- $\epsilon$ scheme leads to most drop in robust m IoU . Specifically for worst-case over all losses, red- $\epsilon$