[논문 리뷰] Improved Adversarial Robustness via Logit Regularization Methods

Cecilia Summers, Michael J. Dinneen|arXiv (Cornell University)|2019. 06. 10.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 7

한 줄 요약

이 논문은 딥 네ural 네트워크에서 적대적 로버스트니스를 향상시키기 위해 강력하고 저비용인 로짓 정규화를 제안한다. 적대적 로짓 페어링을 분석하고 개선함으로써, 저자들은 특히 레이블 스무딩을 통한 로짓 정규화가 화이트박스 및_BLK 박스 공격에 대해 강력한 로버스트니스를 제공하며, 계산 비용을 최소화하면서 CIFAR-10에서 최신 기법들을 능가함을 보여준다.

ABSTRACT

While great progress has been made at making neural networks effective across a wide range of visual tasks, most models are surprisingly vulnerable. This frailness takes the form of small, carefully chosen perturbations of their input, known as adversarial examples, which represent a security threat for learned vision models in the wild -- a threat which should be responsibly defended against in safety-critical applications of computer vision. In this paper, we advocate for and experimentally investigate the use of a family of logit regularization techniques as an adversarial defense, which can be used in conjunction with other methods for creating adversarial robustness at little to no marginal cost. We also demonstrate that much of the effectiveness of one recent adversarial defense mechanism can in fact be attributed to logit regularization, and show how to improve its defense against both white-box and black-box attacks, in the process creating a stronger black-box attack against PGD-based models. We validate our methods on three datasets and include results on both gradient-free attacks and strong gradient-based iterative attacks with as many as 1,000 steps.

연구 동기 및 목표

• 적대적 로짓 페어링(ALP)의 기본 메커니즘을 탐구하기 위해.
• 로짓 정규화가 로짓 페어링 외에도 ALP의 로버스트니스에 기여하는지 여부를 확인하기 위해.
• 적대적 훈련이 필요 없이 적대적 로버스트니스를 향상시키는 데 기여하는 대체 로짓 정규화 기법을 탐색하기 위해.
• 로짓 정규화와 로짓 페어링을 명확히 분리하여 성능을 향상시킬 수 있는 개선된 ALP 버전을 개발하기 위해.
• 로짓 정규화가 SPSA 및 1,000단계 PGD와 같은 강력한 공격에 대해 블랙박스 방어로써 얼마나 효과적인지 평가하기 위해.

제안 방법

• 저자들은 ALP를 분석하고, 그 로버스트니스 향상의 약 절반은 단지 로짓 페어링이 아니라 로짓에 대한 정규화에 기인함을 입증한다.
• 두 가지 대체 로짓 정규화 방법을 도입한다: 레이블 스무딩과 로짓에 대한 L2 정규화.
• 로짓 페어링과 정규화를 분리한 수정된 ALP 수식을 제안하여 훈련 안정성과 로버스트니스를 모두 향상시킨다.
• 강력한 공격, 즉 1,000단계 PGD 및 그래디언트 프리 SPSA를 사용하여 CIFAR-10, CIFAR-100, SVHN에서 방법을 평가한다.
• 표준 적대적 훈련, ALP, 레이블 스무딩, 그리고 제안된 로짓 정규화 방법(LRM)을 화이트박스 및 블랙박스 설정에서 비교 평가한다.
• 정확한 비교와 재현 가능성을 확보하기 위해 이전 연구([16], [28])에서 사용된 동일한 평가 프로토콜을 사용한다.

실험 결과

연구 질문

• RQ1 로짓 정규화는 적대적 로짓 페어링(ALP)의 로버스트니스에 얼마나 기여하는가?
• RQ2 레이블 스무딩과 같은 대체 로짓 정규화 기법은 적대적 훈련 없이도 강력한 적대적 로버스트니스를 달성할 수 있는가?
• RQ3 ALP에서 로짓 정규화를 로짓 페어링에서 분리하면 성능과 로버스트니스가 향상되는가?
• RQ4 로짓 정규화는 SPSA 및 고단계 PGD와 같은 강력한 공격에 대해 블랙박스 방어로써 얼마나 효과적인가?
• RQ5 간단한 기법임에도 불구하고 레이블 스무딩이 블랙박스 공격에 놀랍게 강건한 이유는 무엇인가?

주요 결과

• 레이블 스무딩은 청소된 데이터만으로 훈련했을 때, CIFAR-10에서 10단계 PGD 공격에 대해 40.9%의 로버스트 정확도를 달성하며, 표준 적대적 훈련을 능가한다.
• 제안된 로짓 정규화 방법(LRM)은 CIFAR-10에서 1,000단계 PGD 공격에 대해 51.1%의 로버스트 정확도를 기록하며, ALP와 표준 적대적 훈련을 모두 초월한다.
• 1,000단계 PGD 공격 하에서 LRM은 ALP보다 3.6%p, 표준 적대적 훈련보다 5.8%p 높은 화이트박스 로버스트니스를 확보한다.
• 레이블 스무딩은 블랙박스 SPSA 공격에 대해서도 효과적이며, 8.9%의 로버스트 정확도를 유지한다. 반면 표준 적대적 훈련은 0.0%로 떨어진다.
• 1,000단계 PGD 공격은 레이블 스무딩이 매우 최적화된 화이트박스 공격에 취약해지며, 로버스트 정확도가 7.2%로 감소함을 드러낸다.
• 이 연구는 로짓 정규화가 ALP 성공의 핵심 요인임을 확인하며, 표준 적대적 훈련 대비 로버스트니스 향상의 약 절반을 차지함을 밝혀낸다.