[논문 리뷰] Adversarial Examples on Segmentation Models Can be Easy to Transfer

Jindong Gu, Hengshuang Zhao외 2명|arXiv (Cornell University)|2021. 11. 22.

Adversarial Robustness in Machine Learning참고 문헌 45인용 수 5

한 줄 요약

이 논문은 기존 가정과는 달리, 세분화 모델에서의 적대적 예제가 매우 높은 이식성을 가질 수 있음을 입증한다. 공격 반복 과정에서 입력과 마스크를 랜덤하게 재스케일링하는 동적 스케일링 기법을 도입함으로써, 과적합 없이도 모델과 스케일 간에 강력한 이식성을 달성하여, 세분화 모델에 대한 블랙박스 공격이 가능하고 효과적으로 작동함을 보였다.

ABSTRACT

Deep neural network-based image classification can be misled by adversarial examples with small and quasi-imperceptible perturbations. Furthermore, the adversarial examples created on one classification model can also fool another different model. The transferability of the adversarial examples has recently attracted a growing interest since it makes black-box attacks on classification models feasible. As an extension of classification, semantic segmentation has also received much attention towards its adversarial robustness. However, the transferability of adversarial examples on segmentation models has not been systematically studied. In this work, we intensively study this topic. First, we explore the overfitting phenomenon of adversarial examples on classification and segmentation models. In contrast to the observation made on classification models that the transferability is limited by overfitting to the source model, we find that the adversarial examples on segmentations do not always overfit the source models. Even when no overfitting is presented, the transferability of adversarial examples is limited. We attribute the limitation to the architectural traits of segmentation models, i.e., multi-scale object recognition. Then, we propose a simple and effective method, dubbed dynamic scaling, to overcome the limitation. The high transferability achieved by our method shows that, in contrast to the observations in previous work, adversarial examples on a segmentation model can be easy to transfer to other segmentation models. Our analysis and proposals are supported by extensive experiments.

연구 동기 및 목표

• 세분화 모델에서의 적대적 예제의 이식성에 대해 조사하여, 이들이 본질적으로 이식 가능하지 않다는 기존의 가정에 도전한다.
• 세분화 모델에서의 적대적 예제가 이미지 분류와 달리 원본 모델에 과적합되지 않는 이유를 분석한다.
• 특히 다중 스케일 특징 추출을 포함한 세분화 모델의 아키텍처적 특성들이 이식성의 제한 요소가 되는 이유를 규명한다.
• 세분화 모델에서의 적대적 예제 이식성을 향상시키기 위한 단순하면서도 효과적인 방법을 제안한다.
• 세분화 모델에서의 적대적 예제가 쉽게 이식 가능하도록 만들 수 있음을 입증하여, 실용적인 블랙박스 공격을 가능하게 한다.

제안 방법

• 각 공격 반복 과정에서 입력 이미지와 정답 마스크에 랜덤 스케일링을 적용하는 동적 스케일링 공격 방법을 제안한다.
• 과적합을 방지하고 이식성을 향상시키기 위해 최대 10,000회의 공격 반복을 사용한다.
• VGG와 ResNet 등의 다양한 백본 아키텍처와 스케일(50%, 75%, 100%, 다중 스케일)을 대상으로 공격의 강건성을 평가한다.
• 표준 FGSM 기반 공격에 동적 스케일링을 통합하여, 다양한 모델 간에 일반화 가능한 적대적 예제를 생성한다.
• 스케일링 비율(예: 0.1에서 0.5)에 대한 분석을 통해 이식성 향상에 최적의 편향 다양성을 도출한다.
• 이식성 벤치마크에서 표준 FGSM 및 반복적 FGSM(FS) 공격과 동적 스케일링 방법을 비교한다.

실험 결과

연구 질문

• RQ1 세분화 모델에서의 적대적 예제는 이미지 분류와 마찬가지로 원본 모델에 과적합하는가?
• RQ2 과적합이 없을 때도 세분화 모델에서의 적대적 예제 이식성이 제한되는 이유는 무엇인가?
• RQ3 다중 스케일 특징 추출과 같은 아키텍처적 특성이 적대적 이식성에 악영향을 미칠 수 있는가?
• RQ4 세분화 모델에서 적대적 이식성을 크게 향상시킬 수 있는 단순한 방법을 설계할 수 있는가?
• RQ5 다양한 모델, 스케일, 방어 메커니즘 간에 적대적 예제를 매우 높은 이식성으로 만들 수 있는가?

주요 결과

• VGG 백본을 사용한 세분화 모델에서의 적대적 예제는 10,000회의 공격 반복 후에도 원본 모델에 과적합되지 않으며, 이는 ResNet 백본을 사용한 경우와는 다릅니다.
• 동적 스케일링 기법은 과적합을 방지하고, 과적합이 심한 ResNet 기반 모델에서도 높은 이식성을 달성합니다.
• FCN8s-VGG16 모델에서 동적 스케일링 기법은 50% 스케일에서 타겟 모델의 mIoU를 FS 공격의 50.74에서 10.40으로 감소시켜 뚜렷한 향상을 보였습니다.
• PSPNet-Res50 모델에서 동적 스케일링 기법은 50% 스케일에서 mIoU를 FS 공격의 64.0에서 21.85로 감소시켜 강력한 다중 스케일 이식성을 입증했습니다.
• 이 방법은 다중 스케일 및 적대적으로 훈련된 모델에서도 높은 이식성을 유지하며, mIoU 값이 각각 0.52와 2.72로 표준 공격보다 뛰어난 성능을 보였습니다.
• 스케일링 비율 0.1에서 0.5 사이에서 이식성이 크게 향상되며, 0.5를 초과하면 추가로 향상되지 않아 최적의 편향 다양성을 나타냅니다.