[논문 리뷰] Logit Pairing Methods Can Fool Gradient-Based Attacks

Marius Mosbach, Maksym Andriushchenko외 3명|arXiv (Cornell University)|2018. 10. 29.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 46

한 줄 요약

이 논문은 CLP 및 LSQ와 같은 빠른 로짓 규제 방법들이 실제 강인성을 제공하지 못하는 반면, ALP는 제한된 강인성을 제공하며, 평가에서 철저한 PGD 매개변수 테스트와 다수의 재시작이 필요하다고 강조한다.

ABSTRACT

Recently, Kannan et al. [2018] proposed several logit regularization methods to improve the adversarial robustness of classifiers. We show that the computationally fast methods they propose - Clean Logit Pairing (CLP) and Logit Squeezing (LSQ) - just make the gradient-based optimization problem of crafting adversarial examples harder without providing actual robustness. We find that Adversarial Logit Pairing (ALP) may indeed provide robustness against adversarial examples, especially when combined with adversarial training, and we examine it in a variety of settings. However, the increase in adversarial accuracy is much smaller than previously claimed. Finally, our results suggest that the evaluation against an iterative PGD attack relies heavily on the parameters used and may result in false conclusions regarding robustness of a model.

연구 동기 및 목표

• 로그-페어링 방법(CLP, LSQ, ALP)이 그래디언트 동작의 속임수를 넘는 진정한 적대적 강인성을 제공하는지 평가한다.
• 이 방법들의 강인성을 MNIST, CIFAR-10, Tiny ImageNet 전반에서 강한 그래디언트 기반 공격 하에서 평가한다.
• 평가 관행(PGD 매개변수 그리드, 재시작)이 강인성 결론에 어떤 영향을 미치는지 조사한다.

제안 방법

• 실험적으로 CLP, LSQ, ALP를 다양한 반복 횟수, 스텝 크기, 재시작으로 구성된 강한 화이트박스 PGD 공격에 대해 비교한다.
• L_infinity 작은 perturbations with large epsilon values 하에서 MNIST(LeNet), CIFAR-10(ResNet20-v2), Tiny ImageNet(ResNet50-v2) 사용.
• PGD 매개변수에 대한 그리드 검색과 광범위한 무작위 재시작을 수행하여 공격 성공을 드러낸다.
• 실제 강인성을 평가하기 위해 적대적 학습 및 SPSA 공격과 대조한다.
• 입력 공간 손실 면을 시각화하여 그래디언트 Obfuscation 효과를 설명한다.

실험 결과

연구 질문

• RQ1 CLP와 LSQ가 실제 강인성을 제공하는가, 아니면 그래디언트 기반 공격만 차단하는가?
• RQ2 ALP가 적대적 학습을 넘어 실제 강인성을 제공하고, 이득의 크기는 어느 정도인가?
• RQ3 데이터셋 전반에 걸쳐 PGD 매개변수 선택과 재시작 횟수에 대한 강인성 평가의 민감도는 어느 정도인가?

주요 결과

• CLP 및 LSQ는 입력 공간의 손실 면을 왜곡하여 그래디언트 기반 공격을 더 어렵게 만들지만 실제 강인성을 제공하지는 않음(손실 면 분석을 통한 증거).
• MNIST: LSQ 적대적 정확도가 단일 재시작에서 70.6%에서 더 큰 PGD 스텝 크기, 반복 수, 재시작으로 5.0%로 하락; 더 강한 PGD 설정에서 CLP는 62.4%에서 4.1%로 하락.
• CIFAR-10: PGD 하에서 CLP/LSQ 강인성은 거의 0%로 붕괴, 일부 설정에서 LSQ는 1.7%의 적대적 정확도; ALP는 일부 강인성을 보이고 가장 강한 PGD에서 일반적 적대적 학습보다 약 3.4% 높지만 급격하지 않음.
• Tiny ImageNet: ALP는 적대적 정확도를 급격히 낮출 수 있음(예: 일부 구성에서 31.8%에서 3.6%로), 그러나 미세조정 및 타깃 공격은 이득이 제한적; 전반적으로 ALP는 최첨단 강인성에 도달하지 못함.
• 본 연구는 기본 설정의 PGD 평가가 신뢰할 수 없다고 강조하며, 타당한 결론을 도출하려면 PGD 매개변수 그리드의 철저한 검색과 다수의 재시작이 필수적이다.