[논문 리뷰] Towards Reliable Evaluation and Fast Training of Robust Semantic Segmentation Models

Francesco Croce, Naman D Singh외 1명|arXiv (Cornell University)|2023. 06. 22.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 보완 손실 함수와 최적화 전략을 사용하여 강건한 의미 분할을 위한 새로운 앙상블 공격( SEA )을 제안하며, 적대적 강건성 평가를 크게 향상시킨다. 또한 적대적으로 사전 훈련된 ImageNet 백본을 사용해 미세조정함으로써 최신 기술 수준의 강건한 분할 모델을 빠르고 효율적으로 훈련시킬 수 있으며, Pascal-VOC에서 최고 성능을 달성하고, Ade20K에서는 처음으로 강건한 모델을 구축하며, 훈련 비용을 최대 6배까지 낮춘다.

ABSTRACT

Adversarial robustness has been studied extensively in image classification, especially for the $\ell_\infty$-threat model, but significantly less so for related tasks such as object detection and semantic segmentation, where attacks turn out to be a much harder optimization problem than for image classification. We propose several problem-specific novel attacks minimizing different metrics in accuracy and mIoU. The ensemble of our attacks, SEA, shows that existing attacks severely overestimate the robustness of semantic segmentation models. Surprisingly, existing attempts of adversarial training for semantic segmentation models turn out to be weak or even completely non-robust. We investigate why previous adaptations of adversarial training to semantic segmentation failed and show how recently proposed robust ImageNet backbones can be used to obtain adversarially robust semantic segmentation models with up to six times less training time for PASCAL-VOC and the more challenging ADE20k. The associated code and robust models are available at https://github.com/nmndeep/robust-segmentation

연구 동기 및 목표

• 의미 분할 분야에서 적대적 강건성에 대한 신뢰할 수고 강력한 평가 프로토콜의 부족을 해결하기 위해.
• 의미 분할 모델에 대한 적대적 훈련의 높은 계산 비용 문제를 해결하기 위해, 사전 훈련된 강건한 ImageNet 분류기들을 활용함으로써.
• 기존 방법보다 더 효과적이고 종합적인 공격 프레임워크를 개발하여 기존 방법보다 모델의 취약점을 더 잘 드러내기 위해.
• 강건한 의미 분할을 위한 새로운 훈련 패러다임을 수립하여, 훨씬 줄어든 훈련 시간으로도 높은 강건성을 달성하기 위해.
• 계산 비용 효율적인 미세조정 방식을 사용해, Pascal-VOC와 Ade20K 데이터셋에서 모두 최고 수준의 강건성을 입증하기 위해.

제안 방법

• 픽셀 단위의 분할 공격에 특화된 새로운 손실 함수를 제안하며, 이미지 수준의 예측이 아닌 모든 픽셀의 예측을 뒤바꾸는 데에 특화되어 있다.
• 고차원적이고 픽셀 기반인 분할 작업을 더 잘 다룰 수 있도록 최적화 알고리즘(PGD 등)을 조정하여 공격 성공률를 향상시킨다.
• 분할 앙성 공격(SEA)을 도입하여, 보완적인 손실 함수를 가진 여러 공격을 조합하여 최악의 상황 평가 프로토콜을 구성하며, 분류 작업의 AutoAttack과 유사하게 작동한다.
• 최근에 훈련된 강건한 ImageNet 분류기들을 의미 분할 모델의 사전 훈련된 백본으로 활용하여, 전체적으로 적대적 훈련을 처음부터 수행하는 대신 효율적인 미세조정을 가능하게 한다.
• 강건한 ImageNet 백본으로 초기화하면서 분할 헤드에 대해 더 많은 에포크와 공격 스텝을 사용한 적대적 훈련을 수행하여 수렴성과 강건성을 향상시킨다.
• 다중 목표 평가 전략을 사용하여, SEA 앙성 공격 하에서 픽셀 정확도와 mIoU를 측정함으로써 종합적인 평가를 보장한다.

Figure 2: Testing difference between const- $\epsilon$ and red- $\epsilon$ schemes. Under the same iteration budget for the robust init. AT 5 model, across different losses we see radius reduction (red- $\epsilon$ ) scheme leads to most drop in robust Acc . Specifically for worst-case over all losse

실험 결과

연구 질문

• RQ1 이미지 분류를 위한 기존의 적대적 공격 방법을 의미 분할에 그대로 적용할 수 있는가, 아니면 작업 특화된 과제로 인해 실패하는가?
• RQ2 목표 함수와 최적화 과정을 어떻게 조정하여 모든 픽셀의 예측을 뒤바꾸는 방식으로 의미 분할 모델을 효과적으로 공격할 수 있는가?
• RQ3 보완적인 손실 함수를 가진 공격의 앙성은 개별 공격보다 더 신뢰할 수 있고 강력한 모델 강건성 평가를 제공할 수 있는가?
• RQ4 강건한 의미 분할에서 계산 비용을 크게 줄여가며 최고 수준의 적대적 강건성을 달성할 수 있는가?
• RQ5 적대적으로 사전 훈련된 ImageNet 백본을 효과적으로 미세조정하여 강건한 분할 모델을 효율적으로 훈련시킬 수 있는가?

주요 결과

• 제안된 SEA 앙성 공격는 기존 방법보다 뛰어나며, 이로 인해 이전 평가에서는 평균 픽셀 정확도에서 최대 10% 이상, mIoU에서 최대 6% 이상 모델의 강건성을 과대 평가했다고 밝혀졌다.
• 청정 초기화에서 시작한 적대적 훈련을 통해 훈련된 모델은 좋은 강건성을 확보하기 위해 최대 300 에포크가 필요로 하지만, 강건한 ImageNet 백본을 사용한 모델는 32~128 에포크 내에 유사하거나 더 뛰어난 강건성을 달성한다.
• 강건한 백본을 사용한 미세조정은 강건한 분할 모델을 처음부터 훈련하는 것에 비해 계산 비용을 최대 6배까지 감소시킨다.
• 이 방법은 Pascal-VOC에서 최고 수준의 강건성을 달성하였고, 더 도전적인 Ade20K 데이터셋에서는 처음으로 강건한 모델을 구축하였다.
• 제안된 방법으로 훈련된 강건한 모델는 일반적인 적대적 훈련에서 흔히 발생하는 정확도 저하 없이 우수한 청정 성능을 유지한다.
• 강건한 백본을 사용해 단지 32 에포크만 훈련시켜도, 청정 초기화에서 128 에포크를 훈련한 모델보다 Ade20K에서 ε = 4/255 조건에서 강건성 면에서 뛰어난 성능을 보였다.

Figure 3: Testing difference between const- $\epsilon$ and red- $\epsilon$ schemes. Under the same iteration budget for the robust init. AT 5 model, across different losses we see red- $\epsilon$ scheme leads to most drop in robust m IoU . Specifically for worst-case over all losses, red- $\epsilon$