[논문 리뷰] Towards Evaluating the Robustness of Neural Networks Learned by Transduction

Jiefeng Chen, Xi Wu외 3명|arXiv (Cornell University)|2021. 10. 27.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 4

한 줄 요약

이 논문은 신경망에서 전도학습 기반 방어 기법을 평가하기 위한 새로운 적응형 공격 프레임워크인 탐욕적 모델 스페이스 공격(GMSA)을 제안한다. 강력한 이중 최적화 목표를 수립하고 모델 스페이스의 전이 가능성(transferability)을 활용함으로써, 이전에 AutoAttack에 대해 저항성이 있었던 DENT, RMC, URejectron 등의 방어 기법을 뛰어넘는다. 동시에 전도학습 기반 적대적 훈련이 강력성을 크게 향상시킨다는 점을 입증하며, 방어 설계의 새로운 길을 제시한다.

ABSTRACT

There has been emerging interest in using transductive learning for adversarial robustness (Goldwasser et al., NeurIPS 2020; Wu et al., ICML 2020; Wang et al., ArXiv 2021). Compared to traditional defenses, these defense mechanisms "dynamically learn" the model based on test-time input; and theoretically, attacking these defenses reduces to solving a bilevel optimization problem, which poses difficulty in crafting adaptive attacks. In this paper, we examine these defense mechanisms from a principled threat analysis perspective. We formulate and analyze threat models for transductive-learning based defenses, and point out important subtleties. We propose the principle of attacking model space for solving bilevel attack objectives, and present Greedy Model Space Attack (GMSA), an attack framework that can serve as a new baseline for evaluating transductive-learning based defenses. Through systematic evaluation, we show that GMSA, even with weak instantiations, can break previous transductive-learning based defenses, which were resilient to previous attacks, such as AutoAttack. On the positive side, we report a somewhat surprising empirical result of "transductive adversarial training": Adversarially retraining the model using fresh randomness at the test time gives a significant increase in robustness against attacks we consider.

연구 동기 및 목표

• 적대적 강건성 분야에서 전도학습 기반 방어 기법에 대한 원칙적인 위협 모델의 부족을 해결하기 위해.
• 시험 시점에 동적으로 학습하는 방어 기법에 대해 적응형 공격을 설계할 때 발생하는 이론적 및 실용적 과제를 분석하기 위해.
• 기존 전도학습 기반 방어 기법을 효과적으로 무너뜨릴 수 있는 새로운 공격 기준인 탐욕적 모델 스페이스 공격(GMSA)을 제안하기 위해.
• 실제로 적응형 공격 시나리오에서 전도학습 기반 방어의 강건성을 평가하여 현재 접근 방식의 한계를 드러내기 위해.
• 전도학습 기반 적대적 훈련이라는 새로운 방어 전략을 탐색하고 검증하기 위해, 이는 강력한 경험적 성과를 보여준다.

제안 방법

• 시험 시점에서 공격자와 방어자의 상호작용을 반영하는 전도학습 기반 방어를 위한 엄밀한 1라운드 및 다중라운드 위협 모델을 수립한다.
• 다양한 모델의 이웃 영역에서 공격 성공률을 최대화하는 강력한 이중 최적화 공격 목표를 제안하며, 미분 가능성의 필요성을 완화한다.
• 일반화된 모델 집합에서 효과적인 적대적 예제를 탐색하는 탐욕적 최적화 프레임워크인 탐욕적 모델 스페이스 공격(GMSA)을 도입한다.
• 모델 간 적대적 예제의 전이 가능성(transferability)을 활용해 이중 최적화 공격 목표를 근사함으로써 실용적인 구현을 가능하게 한다.
• 재훈련 시에 앙상블 공격 및 새로운 난수를 활용해 실제 시험 시점 적응 시나리오를 시뮬레이션한다.
• 표준 벤치마크(CIFAR-10, MNIST, GTSRB)를 사용해 방어 기법을 검증하고, GMSA 및 AutoAttack 하에서의 강건 정확도를 비교한다.

실험 결과

연구 질문

• RQ1 어떻게 전도학습 기반 방어 기법의 적대적 강건성 분야에서 위협 환경을 공식적으로 모델링할 수 있는가?
• RQ2 시험 시점에 학습하는 방어 기법에 대해 적응형 공격을 설계할 때 발생하는 주요 이론적 및 실용적 과제는 무엇인가?
• RQ3 기존 베이스라인인 AutoAttack에 비해 새로운 공격 프레임워크가 전도학습 기반 방어를 얼마나 효과적으로 무너뜨릴 수 있는가?
• RQ4 기존 적대적 훈련 대비 전도학습 기반 적대적 훈련(TADV)이 강건성 향상에 얼마나 뚜렷한 기여를 하는가?
• RQ5 다양한 공격 유형 하에서 URejectron과 같은 기존 전도학습 기반 방어 기법의 실패 원리는 무엇인가?

주요 결과

• GMSA는 DENT, RMC, URejectron 방어 기법을 성공적으로 무너뜨려, 이들의 강건 정확도를 기존 적대적 훈련만으로도 달 đạt할 수 있는 수준으로 낮춘다.
• CIFAR-10에서 DENT의 강건 정확도는 AutoAttack 하에서 57.77%에서 GMSA 하에서 54.12%로 감소하여, 적대적 훈련 수준의 개선이 3% 미만임을 시사한다.
• 전도학습 기반 적대적 훈련(TADV)은 MNIST에서 강건 정확도를 86.61%에서 94.27%로, CIFAR-10에서는 45.29%에서 54.12%로 향상시킨다.
• URejectron은 CW 공격 및 이미지 손상 공격에서 실패하며, 눈에 띄지 않는 적대적 예제가 이를 우회하거나, 정상적인 변형이 잘못되게 거부하는 현상이 나타난다.
• GMSA가 생성한 적대적 예제는 TADV 하에서 재훈련된 새로운 모델로의 전이 가능성은 열악한 편이어서, 이는 방어 기법이 이러한 공격에 강건함을 시사한다.
• 본 연구는 전도학습이 본질적으로 강건성을 향상시키지 못하며, 현재의 방어 기법이 적응형 이중 최적화 인식 공격에 취약함을 드러낸다.