[논문 리뷰] Why Do Adversarial Attacks Transfer? Explaining Transferability of Evasion and Poisoning Attacks

Ambra Demontis, Marco Melis외 6명|arXiv (Cornell University)|2018. 09. 08.

Adversarial Robustness in Machine Learning참고 문헌 53인용 수 93

한 줄 요약

본 논문은 회피(evasion) 및 독성(poisoning) 공격을 위한 통합 그래디언트 기반 프레임워크를 제시하고, 전이 가능성(transferability)을 형식화하며, 모델과 데이터셋 전반에 걸쳐 전이 가능성을 이끄는 요인을 식별합니다.

ABSTRACT

Transferability captures the ability of an attack against a machine-learning model to be effective against a different, potentially unknown, model. Empirical evidence for transferability has been shown in previous work, but the underlying reasons why an attack transfers or not are not yet well understood. In this paper, we present a comprehensive analysis aimed to investigate the transferability of both test-time evasion and training-time poisoning attacks. We provide a unifying optimization framework for evasion and poisoning attacks, and a formal definition of transferability of such attacks. We highlight two main factors contributing to attack transferability: the intrinsic adversarial vulnerability of the target model, and the complexity of the surrogate model used to optimize the attack. Based on these insights, we define three metrics that impact an attack's transferability. Interestingly, our results derived from theoretical analysis hold for both evasion and poisoning attacks, and are confirmed experimentally using a wide range of linear and non-linear classifiers and datasets.

연구 동기 및 목표

• 회피 및 독성 공격에 대한 전이 가능성 정의.
• 두 공격 유형에 대한 통합된 그래디언트 기반 최적화 프레임워크 개발.
• 대리-대상 모델 쌍 간 전이 가능성에 영향을 주는 요인 식별.
• 모델 복잡도와 입력 그래디언트 간의 관계를 나타내는 지표 제안.
• 다수의 분류기와 데이터셋에서 이론적 통찰의 실증적 검증.

제안 방법

• 다양한 위협 모델 하에서 회피 및 poisoning 공격을 포괄하는 그래디언트 하강(attacks) 프레임워크를 도입한다.
• 로지스틱 회귀에 대한 새로운 그래디언트 기반 poisoning 가용성(attacks) 공격을 도출한다.
• 입력 그래디언트, 대리-대상 그래디언트 정렬, 손실 지형 분산의 분석을 통해 전이 가능성을 형식화하고 그 성공을 한정한다.
• 가능한 조작 집합으로의 투사(projection)와 함께 그래디언트 기반 공격 생성을 위한 알고리즘을 제공한다.
• 학습 알고리즘(KKT 조건)을 통한 암시적 미분화를 사용해 poisoning 공격 그래디언트를 계산한다.
• MNIST, DREBIN, 및 LFW에서 선형 및 비선형 분류기에 대해 공격을 평가한다.

실험 결과

연구 질문

• RQ1 대리 모델에서 대상 모델로의 전이 전이(adversarial attacks)가 발생하는 원인은 무엇인가?
• RQ2 대리-대상 그래디언트 정렬 및 모델 복잡성이 전이 가능성에 어떤 영향을 미치는가?
• RQ3 하나의 통합 최적화 프레임워크가 위협 모델 전반에 걸친 회피 및 poisoning 공격을 설명할 수 있는가?
• RQ4 모델 복잡도와 입력 그래디언트 간의 관계를 설명하는 실용적 지표는 무엇인가?
• RQ5 이론적 통찰이 다양한 데이터셋 및 분류기 유형에서 성립하는가?

주요 결과

• 전이 가능성은 대상 모델의 고유 취약성, 대리 모델의 복잡성, 대리-대상 그래디언트 간 정렬의 일치도에 의해 좌우된다.
• 세 가지 지표가 도출된다: 입력 그래디언트의 크기, 대리-대상 간 그래디언트 정렬, 손실 지형의 분산.
• 정규화 및 낮은 모델 복잡성은 입력 그래디언트의 크기를 줄이고 회피 및 poisoning에 대한 강건성을 향상시킬 수 있다.
• 대리-대상 그래디언트 간의 더 강한 정렬은 공격 전이 가능성을 증가시킨다.
• 더 높은 신뢰도로 이루어진 회피 공격은 모델 간의 전이가 더 잘 발생하는 경향이 있다.
• 이 프레임워크는 로지스틱 회귀를 위한 새로운 poisoning 가용성 공격을 산출하며, 여러 데이터셋에서 연구 결과를 검증한다.