[논문 리뷰] Evaluating the Robustness of Geometry-Aware Instance-Reweighted Adversarial Training

Dorjan Hitaj, Giulio Pagnotta외 2명|arXiv (Cornell University)|2021. 03. 02.

Adversarial Robustness in Machine Learning참고 문헌 7인용 수 7

한 줄 요약

이 논문은 기하학적 인스턴스 재가중 기반 적대적 훈련(Geometry-Aware Instance-Reweighted Adversarial Training, GAIRAT)을 평가한다. GAIRAT는 적대적 로버스트니 추정치를 바탕으로 인스턴스별 손실 가중치를 할당하는 최근의 방어 방법이다. 표준 공격 하에서 CIFAR-10에서 최고 성능을 기록하지만, 로짓 스케일링 공격에 매우 취약하여 PGD-20 기준에서 로버스트 정확도가 53.76%에서 43.89%로, PGD+ 기준에서는 50.32%에서 43.27%로 감소함으로써, 로버스트니에 심각한 결함이 있으며, 잘못된 안전감각을 줄 수 있음을 시사한다.

ABSTRACT

In this technical report, we evaluate the adversarial robustness of a very recent method called "Geometry-aware Instance-reweighted Adversarial Training"[7]. GAIRAT reports state-of-the-art results on defenses to adversarial attacks on the CIFAR-10 dataset. In fact, we find that a network trained with this method, while showing an improvement over regular adversarial training (AT), is biasing the model towards certain samples by re-scaling the loss. Indeed, this leads the model to be susceptible to attacks that scale the logits. The original model shows an accuracy of 59% under AutoAttack - when trained with additional data with pseudo-labels. We provide an analysis that shows the opposite. In particular, we craft a PGD attack multiplying the logits by a positive scalar that decreases the GAIRAT accuracy from from 55% to 44%, when trained solely on CIFAR-10. In this report, we rigorously evaluate the model and provide insights into the reasons behind the vulnerability of GAIRAT to this adversarial attack. The code to reproduce our evaluation is made available at https://github.com/giuxhub/GAIRAT-LSA

연구 동기 및 목표

• GAIRAT, 즉 기하학적 경계에 가까운 점들에 따라 적대적 예제의 재가중을 수행하는 최근에 제안된 적대적 방어 방법의 정밀한 로버스트니 평가를 수행한다.
• GAIRAT의 인스턴스 재가중 메커니즘이 표준 적대적 공격에서 드러나지 않는 숨겨진 취약성을 유도하는지 조사한다.
• 로짓 스케일링 공격를 통해 GAIRAT의 기울기 마스킹 효과를 드러내는지 평가한다. 이 공격는 예측을 변경하지 않고 모델의 로짓 크기를 조작한다.
• PGD-20, PGD+, 그리고 로짓 스케일링된 PGD를 포함한 다양한 공격 설정 하에서 GAIRAT의 성능을 비교하여 로버스트니의 약점을 규명한다.

제안 방법

• GAIRAT는 자연 데이터 포인트가 결정 경계까지의 기하학적 거리를, 해당 점에서 적대적 예제를 생성하기 위해 필요한 최소 PGD 반복 수(κ)를 사용해 추정한다.
• 결정 경계에 더 가까운(더 취약한) 데이터 포인트에는 높은 손실 가중치를, 더 멀리 떨어진(더 견고한) 데이터 포인트에는 낮은 가중치를 적용하며, 이는 교차 엔트로피 손실을 조정하는 함수 ω(x, y, κ)를 통해 이루어진다.
• 모델은 각 훈련 샘플의 추정된 로버스트니에 따라 스케일링된 손실을 최소화하는 방식으로 딥 네ural 네트워크를 훈련시킨다.
• 저자들은 모델의 로짓에 스칼라 α를 곱한 후 PGD 적대적 예제를 생성함으로써 로짓 스케일링 공격를 적용한다. 이는 기울기 흐름을 효과적으로 변경하여 기울기 마스킹를 드러낸다.
• 평가에서는 PGD-20, PGD+, 그리고 로짓 스케일링된 PGD(α = 10)를 포함한 여러 위협 모델을 사용하였으며, 40회의 반복, 스텝 크기 λ = 0.01, 5번의 랜덤 재시작을 적용하였다.
• 평가 대상은 CIFAR-10 훈련 세트에만 훈련된 WRN-32-10 모델이며, 표준 및 수정된 공격 설정 하에서의 로버스트 정확도가 보고되었다.

실험 결과

연구 질문

• RQ1 로짓 스케일링 공격는 기울기 마스킹을 드러내는 공격이지만, GAIRAT가 이 공격 하에서도 로버스트니를 유지하는가?
• RQ2 표준 PGD 공격 하에서는 높은 성능을 기록하지만, 로짓 스케일링 공격 하에서 GAIRAT의 로버스트 정확도가 크게 감소하는 이유는 무엇인가?
• RQ3 GAIRAT의 인스턴스 재가중 메커니즘이 기울기 마스킹을 유도하여 간단한 입력 변환에 취약해지는 정도는 어느 정도인가?
• RQ4 표준 적대적 훈련(AT)과 友好的 적대적 훈련(FAT)과 비교해 GAIRAT의 성능은 표준 및 수정된 PGD 공격 하에서 어떻게 다른가?
• RQ5 다양한 로짓 스케일링 계수에서 GAIRAT의 최악의 로버스트 정확도를 특정할 수 있으며, 실험에서 관찰된 것처럼 α = 10에서 발생하는가?

주요 결과

• 로짓 스케일링 계수 α = 10를 적용한 경우, PGD-20 기준에서 GAIRAT의 로버스트 정확도는 53.76%에서 43.89%로 감소하여 이 간단한 공격에 심각한 취약성을 드러낸다.
• PGD+ 기준에서도 GAIRAT의 로버스트 정확도는 α = 10일 때 50.32%에서 43.27%로 감소하여, 더 견고한 공격 설정 하에서도 이 취약성이 지속됨을 보여준다.
• GAIRAT의 최악의 로버스트 정확도는 α = 10에서 발생하지만, 표준 AT와 FAT의 경우 최악의 상황은 α = 1에서 발생함을 시사하며, 모델 감도에 근본적인 차이가 있음을 나타낸다.
• 로짓 스케일링 공격는 GAIRAT가 기울기 마스킹를 보임을 드러내며, 표준 공격 하에서는 높은 성능을 기록하지만, 이 입력 변환 하에서는 로버스트니가 크게 떨어짐을 보여준다.
• 로짓 스케일링 하에서의 성능 저하 원인은 공격 자체의 실패 때문이 아니라, 모델이 특정 기울기 크기에 의존하기 때문이며, 스케일링으로 인해 기울기 크기가 변하기 때문이다.
• 결과적으로 GAIRAT는 로짓 스케일링에 민감하므로 AutoAttack에 취약할 수 있으며, 현재의 로버스트니 평가 프로토콜의 신뢰성에 우려를 제기한다.