[논문 리뷰] Fundamental Tradeoffs between Invariance and Sensitivity to Adversarial Perturbations

Florian Tramèr, Jens Behrmann외 3명|arXiv (Cornell University)|2020. 02. 11.

Adversarial Robustness in Machine Learning참고 문헌 28인용 수 29

한 줄 요약

이 논문은 민감도 기반의 적대적 공격(작은 변형)에 대한 강건성과 의미론적 변화를 유지하면서 모델 예측을 그대로 둔 공격(불변성 기반 공격)에 대한 취약성 사이의 근본적인 상충 관계를 드러낸다. ℓp-유계 변형에 강건한 방어 방법은 과도한 불변성을 유도하여 인간이 명백히 다른 것으로 인식하는 입력을 잘못 분류하게 만들며, 이는 최신의 상태 기술 모델과 인증 가능한 강건 모델까지도 영향을 미친다.

ABSTRACT

Adversarial examples are malicious inputs crafted to induce misclassification. Commonly studied sensitivity-based adversarial examples introduce semantically-small changes to an input that result in a different model prediction. This paper studies a complementary failure mode, invariance-based adversarial examples, that introduce minimal semantic changes that modify an input's true label yet preserve the model's prediction. We demonstrate fundamental tradeoffs between these two types of adversarial examples. We show that defenses against sensitivity-based attacks actively harm a model's accuracy on invariance-based attacks, and that new approaches are needed to resist both attack types. In particular, we break state-of-the-art adversarially-trained and certifiably-robust models by generating small perturbations that the models are (provably) robust to, yet that change an input's class according to human labelers. Finally, we formally show that the existence of excessively invariant classifiers arises from the presence of overly-robust predictive features in standard datasets.

연구 동기 및 목표

• 적대적 훈련의 뜻하지 않은 결과인 의미론적으로 중요한 변화에 대한 과도한 불변성의 원인을 탐구한다.
• 민감도 기반 공격에 대한 강건성과 불변성 기반 공격에 대한 취약성 사이의 근본적인 상충 관계를 폭 드러낸다.
• ℓp-유계 변형에 강건한 모델가 인간 레이블이 변경된 경우에도 잘못된 예측을 내릴 수 있음을 입증한다.
• ℓp-노름 강건성이 일반적인 적대적 강건성을 보장한다는 가정을 도전한다.
• ℓp-유계 내에서 불변성 기반의 적대적 예제를 생성할 수 있는 새로운 공격 프레임워크를 제안한다.

제안 방법

• 인간의 레이블은 변경되지만 모델의 예측은 그대로 유지되는 불변성 기반의 적대적 예제를 생성하기 위한 새로운 공격을 개발한다.
• ℓp-노름 유계 변형(예: ℓ₀, ℓ∞)을 사용하여 최신의 상태 기술 모델의 강건성 반경 내에 있는 예제를 조작한다.
• 표준 적대적 훈련 모델과 인증 가능한 강건 모델(예: ε = 0.4 ℓ∞-강건성) 모두에 공격를 적용한다.
• 만들어진 불변성 예제에 대해 인간 레이블러와의 모델 일치도를 평가하여 의미론적 불변성을 측정한다.
• 회전, 이동, 노이즈 등의 데이터 증강 기법을 사용해 과도한 불변성을 완화할 수 있는지 테스트한다.
• 이론적 분석을 통해 표준 데이터셋에서 과도하게 강건한 예측 특징의 존재가 과도한 불변성의 근본 원인임을 연결한다.

실험 결과

연구 질문

• RQ1 ℓp-유계 변형에 대한 강건성이 입력의 의미론적 변화에 대한 과도한 불변성으로 이어지는가?
• RQ2 최신의 상태 기술 모델의 ℓp-강건성 반경 내에서 불변성 기반의 적대적 예제를 생성할 수 있는가?
• RQ3 불변성 기반의 적대적 예제에 대해 강건 모델의 성능은 무방비 모델과 비교해 어떻게 되는가?
• RQ4 데이터 증강은 강건 모델의 과도한 불변성을 줄일 수 있는가?
• RQ5 표준 데이터셋에 훈련된 모델에서 과도한 불변성이 발생하는 이론적 근본 원인은 무엇인가?

주요 결과

• 최신의 적대적 훈련 모델은 ℓ∞-변형이 ε = 0.1일지라도 불변성 기반의 적대적 예제에 대해 인간 레이블러와 높은 불일치를 보인다.
• 인증 가능한 강건 모델(ε = 0.4)은 자동화된 불변성 공격에 대해 인간 레이블러와 60%의 일치도를 보이며, 수동으로 제작된 예제에 대해서는 12%에 불과하여 무작위 추측보다도 열 劣하다.
• 매우 작은 ℓ∞-변형(ε < 0.1)에 강건한 모델들조차도 무방비 모델보다 불변성 공격에 더 취약하다.
• 공격는 모델의 ℓp-강건성 반경 내에서 불변성 기반의 적대적 예제를 성공적으로 생성하여, ℓp-강건성이 일반적인 강건성을 의미하지는 않음을 입증한다.
• 공간 변형과 노이즈를 포함한 데이터 증강은 인간과의 일치도를 향상시키지만, 강건 모델의 과도한 불변성을 완전히 제거하지는 못한다.
• 이론적 분석은 표준 데이터셋에서 과도하게 강건한 특징이 분류기에서 과도한 불변성의 근본 원인임을 밝혀낸다.