[논문 리뷰] Increasing Confidence in Adversarial Robustness Evaluations

R. Zimmermann, Wieland Brendel외 2명|arXiv (Cornell University)|2022. 06. 28.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 모델을 수정하여 적대적 예제가 존재하도록 보장함으로써, 방어 평가에서 약한 적대적 공격을 탐지하기 위한 능동적 내성 테스트를 제안한다. 이 테스트는 이전에 발표된 13개 방어 중 11개가 더 강력한 공격에 의해 실패했음을 드러내었으며, 이는 이전 평가에 결함이 있음을 보여주고, 내성 주장에 대한 신뢰를 높이기 위해 공격 단위 테스트를 도입할 것을 주장한다.

ABSTRACT

Hundreds of defenses have been proposed to make deep neural networks robust against minimal (adversarial) input perturbations. However, only a handful of these defenses held up their claims because correctly evaluating robustness is extremely challenging: Weak attacks often fail to find adversarial examples even if they unknowingly exist, thereby making a vulnerable network look robust. In this paper, we propose a test to identify weak attacks, and thus weak defense evaluations. Our test slightly modifies a neural network to guarantee the existence of an adversarial example for every sample. Consequentially, any correct attack must succeed in breaking this modified network. For eleven out of thirteen previously-published defenses, the original evaluation of the defense fails our test, while stronger attacks that break these defenses pass it. We hope that attack unit tests - such as ours - will be a major component in future robustness evaluations and increase confidence in an empirical field that is currently riddled with skepticism.

연구 동기 및 목표

• 기계 학습 분야에서 약한 공격 평가로 인해 내성 수준이 과도하게 평가되는 광범위한 문제를 해결하기 위해.
• 수정된 모델에서 적대적 예제가 존재하도록 보장함으로써, 결함이 있는 내성 평가를 식별하는 방법을 개발하기 위해.
• 적대적 예제가 보장적으로 존재할 때 이를 찾을 수 있는지를 검증할 수 있는 능동적 테스트를 제안하기 위해.
• 기존 적대적 예제를 이미 알고 있음에도 탐지하지 못하는 공격을 탐지함으로써, 경험적 내성 평가에 대한 신뢰를 높이기 위해.
• 방어 저자들이 자신의 특정 아키텍처나 학습 방법에 맞게 공격 단위 테스트를 개발하도록 장려하기 위해.

제안 방법

• 모델의 분류 작업을 원래 입력 근처에 결정 경계가 오도록 이진 문제로 재정의함으로써, 모든 입력에 대해 적대적 예제가 존재하도록 신경망을 수정한다.
• 원래 모델의 특징을 사용하여 이진 분류기(이진 식별기)를 구축함으로써, 공격의 위협 모델(예: ℓ∞-구역, 반경 ε) 내에 유효한 적대적 예제가 존재하도록 보장한다.
• 청결한 샘플과 ε-구역 내에 심어진 적대적 예제를 기반으로 훈련된 이진 식별기를 사용하여, 위협 모델 내의 모든 공격에 대해 적대적 예제의 존재가 피할 수 없도록 한다.
• 테스트의 난이도는 청결한 샘플 수(Ni)와 심어진 적대적 예제 수(Nb)를 조절함으로써 조절되며, Ni를 높일수록 난이도가 증가하고 Nb를 높일수록 난이도가 감소한다.
• 공격이 수정된 모델에서 거의 완벽한 적대적 성공률(ASR)을 달성하고, 무작위 기준보다도 뚜렷하게 높은 R-ASR를 확보해야만 테스트에 통과한다.
• 테스트는 13개의 이전 방어에 적용되었으며, 테스트에 실패한 공격들은 내성 평가에 신뢰할 수 없다고 판단된다.

실험 결과

연구 질문

• RQ1 약한 적대적 공격이 내성 평가에서 존재하는 적대적 예제를 탐지하지 못하는 것을 체계적으로 탐지할 수 있는 방법을 개발할 수 있는가?
• RQ2 적대적 예제의 존재를 보장함으로써 공격의 강도를 검증할 수 있는 테스트를 어떻게 설계할 수 있는가?
• RQ3 현재의 내성 평가가 너무 약한 공격으로 인해 얼마나 자주 실패하는가? 이는 정량화할 수 있는가?
• RQ4 능동적 단위 테스트는 방어 연구에서 신뢰할 수 있는 내성 평가를 위해 필수 조건이 될 수 있는가?
• RQ5 방어 저자들은 이러한 테스트를 어떻게 자신의 특정 아키텍처나 학습 방법에 맞게 적응시켜 평가의 엄밀함을 확보할 수 있는가?

주요 결과

• 제안된 능동적 테스트는 이후 더 강력한 공격에 의해 뚫린 13개의 이전에 동료 심사된 방어 중 11개에서 약한 평가를 성공적으로 탐지하였다.
• 테스트에 실패한 공격들은 항상 방어의 내성을 과도하게 평가했으며, 이는 기존의 적대적 예제를 탐지하지 못할 정도로 너무 약했음을 시사한다.
• 테스트의 난이도는 청결한 샘플 수와 심어진 적대적 예제 수를 조절함으로써 조절 가능하여, 과도한 도전성과 신뢰성 사이의 균형을 이룰 수 있다.
• 공격가 성공률(ASR)이 수정된 모델에서 거의 완벽하게 달성되고, 무작위 기준보다 뚜렷하게 높아야만 테스트에 통과하므로, 공격의 강력함을 보장한다.
• 테스트는 많은 공개 평가가 내성적 모델과 비내성적 모델을 구분할 수 없는 공격에 기반하여 이루어졌음을 드러내어, 그 결과에 대한 신뢰를 떨어뜨렸다.
• 저자들은 향후 내성 평가에서 이러한 능동적 테스트를 표준 절차로 통합하여 재현 가능성과 결과에 대한 신뢰도를 높일 것을 주장한다.