[논문 리뷰] Accurate, reliable and fast robustness evaluation

Wieland Brendel, Jonas Rauber외 3명|arXiv (Cornell University)|2019. 07. 01.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 31

한 줄 요약

이 논문은 $L_0$, $L_1$, $L_2$, 및 $L_\infty$ 노름에서 공격 성공률, 쿼리 효율성, 하이퍼파rameter 조정에 대한 강건성 측면에서 최신 기법들을 능가하는 새로운 기울기 기반 적대적 공격의 클래스를 제안한다. 먼 적대적 점에서 적대적 경계를 따라 이동함으로써, 이 방법은 신뢰할 수 있는 기울기 정보를 유지하고 하이퍼파rameter 조정이 최소화되어 강건성 평가의 신뢰도가 크게 향상된다.

ABSTRACT

Throughout the past five years, the susceptibility of neural networks to minimal adversarial perturbations has moved from a peculiar phenomenon to a core issue in Deep Learning. Despite much attention, however, progress towards more robust models is significantly impaired by the difficulty of evaluating the robustness of neural network models. Today's methods are either fast but brittle (gradient-based attacks), or they are fairly reliable but slow (score- and decision-based attacks). We here develop a new set of gradient-based adversarial attacks which (a) are more reliable in the face of gradient-masking than other gradient-based attacks, (b) perform better and are more query efficient than current state-of-the-art gradient-based attacks, (c) can be flexibly adapted to a wide range of adversarial criteria and (d) require virtually no hyperparameter tuning. These findings are carefully validated across a diverse set of six different models and hold for L0, L1, L2 and Linf in both targeted as well as untargeted scenarios. Implementations will soon be available in all major toolboxes (Foolbox, CleverHans and ART). We hope that this class of attacks will make robustness evaluations easier and more reliable, thus contributing to more signal in the search for more robust machine learning models.

연구 동기 및 목표

• 딥 네URAL 네트워크에서 신뢰할 수 없고 비효율적인 강건성 평가 문제를 해결하기 위해.
• 기존 기울기 기반 공격의 한계, 예를 들어 기울기 마스킹 및 하이퍼파rameter에 대한 민감성 문제를 극복하기 위해.
• 높은 공격 성공률을 유지하면서도 쿼리 효율성이 뛰어나고 정밀 조정에 의존도가 낮은 방법을 개발하기 위해.
• 다양한 모델과 노름에서 적대적 강건성 평가를 위한 신뢰성 있고 빠르며 유연한 도구를 제공하기 위해.
• 문헌에서 효과적인 방어와 그렇지 않은 것을 더 정확히 구분할 수 있도록 하기 위해.

제안 방법

• 공격는 먼 적대적 예제에서 시작하여 깨끗한 입력 쪽으로 적대적 경계를 따라 이동함으로써, 기울기 정보가 안정적인 영역에 머물도록 보장한다.
• 각 단계에서 주어진 $L_p$ 노름과 픽셀 범위 하에서 최적의 내림차순 방향을 구하기 위해 이차 최적화 문제를 풀며, 경계의 국소 평면 근사치를 사용한다.
• 이 방법은 서로서탈 손실 함수에 의존하지 않고, 적대적 영역과 비적대적 영역 사이의 경계를 기울기 추정치를 통해 근사한다.
• 단일 트러스트 영역 하이퍼파rameter를 도입함으로써, C&W에서 흔한 상호보완적 파rameter 또는 PGD에서 고정된 노름 공의 문제를 해결한다.
• 경계가 미분 가능한 등식 제약 조건으로 기술될 수 있다면, 다양한 적대적 기준에 적응 가능하다.
• 쿼리 효율성이 뛰어나고, 하이퍼파rameter 설정이 최적일 필요가 없도록 설계되어 있으며, 최소한의 조정으로도 성능을 유지한다.

실험 결과

연구 질문

• RQ1 기울기 기반 공격가 여러 $L_p$ 노름에서 하이퍼파rameter 조정을 광범위하게 필요로 하지 않고도 PGD와 C&W를 능가하는 높은 성공률을 달성할 수 있는가?
• RQ2 이러한 공격 방법은 공격에 매우 어려운 것으로 알려진 적대적 훈련된 모델에서 어떻게 성능을 발휘하는가?
• RQ3 C&W와 PGD에 비해 하이퍼파rameter 설정이 최적일 때보다 열등한 경우에도 이 공격이 얼마나 강건한가?
• RQ4 근처 시작점이 아닌 적대적 경계를 따라 이동하면서도 높은 쿼리 효율성을 유지할 수 있는가?
• RQ5 이 방법은 다양한 모델과 데이터셋에서 타겟 공격 및 비타겟 공격 시나리오에 모두 적용 가능할 정도로 충분히 융통성 있는가?

주요 결과

• 제안된 공격는 모든 $L_p$ 노름($L_0$, $L_1$, $L_2$, $L_\infty$)에서 타겟 공격 및 비타겟 공격 설정 모두에서 PGD와 C&W를 능가하는 공격 성공률을 달성한다.
• 약 10회의 쿼리 이후, PGD와 AdamPGD보다 높은 성공률을 기록하며, 초기에는 PGD가 경계를 더 빨리 발견함으로써 약간의 이점이 있다.
• 이 공격는 하이퍼파ram터 조정에 매우 강건하다: 트러스트 영역을 두 개의 지수 단위로 변화시켜도 성능 저하가 15% 미만이며, 이는 C&W와는 대조적으로 단일 지수 단위의 편차로도 약 50% 성능 저하를 겪는다.
• 단 한 번의 반복과 단일 하이퍼파rameter 설정으로도 높은 성능을 유지하며, 이 경우 C&W와 PGD보다 뛰어난 성능을 발휘한다.
• 특히 Madry-MNIST와 같은 적대적 훈련된 모델에서 매우 효과적이며, 강건성 평가 능력이 뛰어나다.
• 하이퍼파ram터 조정이 거의 필요 없으며, 테스트한 모든 모델에서 단일 트러스트 영역 값만으로도 우수한 성능을 발휘한다.