[논문 리뷰] Closer Look at the Transferability of Adversarial Examples: How They Fool Different Models Differently

Futa Waseda, Sosuke Nishikawa외 3명|arXiv (Cornell University)|2021. 12. 29.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 동일한 적대적 예제가 서로 다른 모델에서 같은 잘못된 클래스나 다른 잘못된 클래스로 잘못 분류되는 이유를 분석함으로써 적대적 예제의 클래스 인식 전이성에 대해 연구한다. 비로버스트 특징—예측에는 유용하지만 인간이 인지하지 못하는 패턴—이 같은 오류와 다른 오류를 모두 설명할 수 있으며, 모델에 따라 이러한 특징을 다르게 사용함으로써 유사한 모델 간에도 예측이 다를 수 있음을 제안한다.

ABSTRACT

Deep neural networks are vulnerable to adversarial examples (AEs), which have adversarial transferability: AEs generated for the source model can mislead another (target) model's predictions. However, the transferability has not been understood in terms of to which class target model's predictions were misled (i.e., class-aware transferability). In this paper, we differentiate the cases in which a target model predicts the same wrong class as the source model ("same mistake") or a different wrong class ("different mistake") to analyze and provide an explanation of the mechanism. We find that (1) AEs tend to cause same mistakes, which correlates with "non-targeted transferability"; however, (2) different mistakes occur even between similar models, regardless of the perturbation size. Furthermore, we present evidence that the difference between same mistakes and different mistakes can be explained by non-robust features, predictive but human-uninterpretable patterns: different mistakes occur when non-robust features in AEs are used differently by models. Non-robust features can thus provide consistent explanations for the class-aware transferability of AEs.

연구 동기 및 목표

• 적대적 예제의 클래스 인식 전이성의 메커니즘을 이해하고, 같은 오류와 다른 오류 분류 오류를 구분한다.
• 유사한 아키텍처나 변형 크기를 가진 모델 간에 서로 다른 잘못된 클래스로 분류되는 이유를 조사한다.
• 비로버스트 특징—사람에게는 인지되지 않지만 모델에겐 예측 가능한 패턴—이 같은 오류와 다른 오류를 모두 설명할 수 있는지 검토한다.
• 모델에 따라 비로버스트 특징을 얼마나 의존하는지가 전이성 결과에 미치는 영향, 특히 블랙박스 공격 시나리오에서 어떻게 작용하는지 평가한다.
• 공동 비로버스트 특징을 목표로 하는 앙상블 기반 공격이 다른 오류의 발생 빈도를 줄이는지 테스트한다.

제안 방법

• 저자들은 CIFAR-10에 대해 ResNet-18과 VGG-16 모델을 사용해 PGD 공격로 생성한 적대적 예제를 분석하며, 전이성을 같은 오류(대상 모델이 소스 모델과 동일한 클래스로 잘못 분류)와 다른 오류(다른 잘못된 클래스로 잘못 분류)로 분류한다.
• 비로버스트 학습 세트를 구성하기 위해 적대적 예제를 예측된 클래스로 재라벨링한 후, 이러한 세트로 모델을 학습시켜 다중 클래스와 관련된 비로버스트 특징을 학습할 수 있는지 검증한다.
• 동일한 아키텍처와 초기 가중치를 사용해 셔플된 학습 세트로 모델을 학습시켜, 비로버스트 특징 학습과 오류 분류 패턴에 대한 확률적 요인의 영향을 분리한다.
• 단일 모델(Vanilla)과 앙상블 모델(Ensemble)에 대해 타겟 공격을 비교함으로써, 공유되는 비로버스트 특징이 다른 오류를 줄이는지 평가한다.
• l2 유계 변형(ε=1.0)과 타겟 지정 PGD(10단계)를 사용해 5,000개 이미지에 대해 전이성 결과를 정량화하고, 미오류, 같은 오류, 다른 오류 사례를 측정한다.
• 비로버스트 세트로 학습한 모델이 재라벨링된 데이터에서 랜덤(10%)보다 높은 테스트 정확도를 달성함으로써 가설을 검증하며, 이는 적대적 예제에 다중 클래스 관련 비로버스트 특징이 존재함을 확인한다.

실험 결과

연구 질문

• RQ1 적대적 예제가 대상 모델에서 소스 모델과 동일한 오류를 일으키는지, 아니면 다른 오류를 일으키는지에 영향을 주는 요소는 무엇인가?
• RQ2 모델 유사도가 적대적 전이성에서 다른 오류 발생에 얼마나 영향을 미치는가?
• RQ3 변형 크기를 증가시키면 다른 오류 비율이 감소하는가, 아니면 이 현상은 크기에 관계없이 지속되는가?
• RQ4 비로버스트 특징—인간에게는 인지되지 않지만 예측 가능성은 있는 패턴—이 같은 오류와 다른 오류 분류 결과를 모두 설명할 수 있는가?
• RQ5 앙상블 기반 적대적 공격이 공유되는 비로버스트 특징을 목표로 함으로써 다른 오류의 빈도를 줄일 수 있는가?

주요 결과

• 적대적 예제는 일반적으로 같은 오류를 일으키며, 이는 비타겟 전이성과 강하게 상관되며, 모델들이 일반적으로 동일한 잘못된 클래스로 잘못 분류됨을 시사한다.
• 매우 유사한 모델 간에도(예: 동일한 아키텍처, 동일한 초기 가중치) 다른 오류가 발생함을 보여주며, 이는 모델에 따라 비로버스트 특징을 다르게 사용함으로써 오류 분류가 갈라짐을 나타낸다.
• 더 큰 변형은 같은 오류의 가능성은 높이지만, 다른 오류 비율을 줄이진 않으며, 이는 근본 원인이 변형 크기 초과에 있음을 시사한다.
• 비로버스트 세트로 학습한 모델은 재라벨링된 데이터에서 랜덤(10%)보다 높은 테스트 정확도를 달성함으로써, 적대적 예제에 다중 클래스 관련 비로버스트 특징이 존재함을 확인한다.
• 동일한 비로버스트 세트로 학습하더라도 다른 무작위 셔플링이나 드롭아웃 설정을 사용하면, 동일한 아키텍처임에도 불구하고 다른 비로버스트 특징을 학습하게 되어 다른 오류가 발생함을 설명한다.
• 타겟 공격에 앙상블 모델을 사용하면 다른 오류 수가 감소(250에서 216으로)하고 같은 오류 수가 증가(426에서 842로)함을 확인하여, 공유되는 비로버스트 특징이 전이성 일관성을 향상시킴을 확인한다.