[논문 리뷰] Training for Faster Adversarial Robustness Verification via Inducing ReLU Stability

Kai Xiao, Vincent Tjeng외 2명|arXiv (Cornell University)|2018. 09. 09.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 64

한 줄 요약

이 논문은 가중치 희소성과 ReLU 안정성을 이용한 공동 설계 Training with weight sparsity and ReLU stability (RS Loss)를 도입하여 적대적 강건성 검증을 더 빠르게 확인 가능하게 하며, MNIST와 CIFAR-10에서 4–13배의 속도 향상과 증명 가능한 정확도 향상을 달성한다. RS Loss와 희소성 기술은 최소한의 정확도 손실로 검증 속도를 크게 향상시킨다.

ABSTRACT

We explore the concept of co-design in the context of neural network verification. Specifically, we aim to train deep neural networks that not only are robust to adversarial perturbations but also whose robustness can be verified more easily. To this end, we identify two properties of network models - weight sparsity and so-called ReLU stability - that turn out to significantly impact the complexity of the corresponding verification task. We demonstrate that improving weight sparsity alone already enables us to turn computationally intractable verification problems into tractable ones. Then, improving ReLU stability leads to an additional 4-13x speedup in verification times. An important feature of our methodology is its "universality," in the sense that it can be used with a broad range of training procedures and verification approaches.

연구 동기 및 목표

• 빠르고 정확한 강건성 검증을 가능하게 하기 위해 훈련과 검증의 공동 설계를 동기를 부여한다.
• 가중치 희소성과 ReLU 안정성이 검증기 복잡도를 감소시킴을 보인다.
• 큰 정확도 손실 없이 ReLU 안정성을 유도하는 정규화 기법을 개발한다.
• MNIST와 CIFAR-10에서 속도향상과 증명 가능한 강건성 개선을 시연한다.
• LP/MILP 기반 검증기에 호환되는 범용 접근법을 제공한다.

제안 방법

• L1 정규화와 소형 가중치 pruning을 사용하여 가중치 희소성을 높이고 검증 변수 수를 줄인다.
• ReLU 안정성을 정의하고 RS Loss를 도입하여 매끄러운 대리 함수(F = -tanh(1 + u·l))를 통해 안정성을 촉진한다.
• RS Loss를 위한 u와 l을 계산하기 위해 인터벌 산술(초보적 또는 향상된 방법)을 사용하여 ReLU 경계를 추정한다.
• 강건적 적대적 학습(Madry et al. 2018)과 RS Loss 및 희소성 기법을 함께 사용해 학습한다.
• 정확한 MILP 기반 검증기(Tjeng et al. 2019)를 사용해 증명 가능한 강건성과 해결 시간를 측정한다.
• 기준선 및 인증 가능한 방어 기법과 비교하여 속도향상과 정확도를 평가한다.

실험 결과

연구 질문

• RQ1 훈련과 검증 목표의 공동 설계가 정확한 검증 복잡성을 줄일 수 있는가?
• RQ2 가중치 희소성과 ReLU 안정성이 개별적으로 및 함께 검증 속도와 증명 가능한 강건성에 어떻게 영향을 미치는가?
• RQ3 RS Loss를 통해 ReLU 안정성을 강제할 때 실제적인 정확도/검증 trade-off은 무엇인가?
• RQ4 이 방법들이 검증기에 관계없이 보편적이며 CIFAR-10까지 확장 가능한가?
• RQ5 다양한 노이즈 강도(epsilon)에서 RS Loss와 희소성이 증거 가능한 강건성에 대해 어떤 성능을 보이는가?

주요 결과

• L1 정규화 및 가지치기로 인한 가중치 희소성이 MNIST에서 검증 속도와 증명 가능한 강건성을 크게 향상시킨다(예: pruning 시 epsilon=0.1에서 89.13%의 증명 가능한 적대적 정확도).
• RS Loss는 불안정한 ReLU를 줄이고 MNIST에서 epsilon in {0.1,0.2,0.3}에 대해 검증 속도를 4–13x 향상시키며, 정확도 손실은 작다.
• CIFAR-10의 경우 RS Loss는 속도향상이 비교적 작지만(1.6–3.7x) 일부 설정에서 여전히 증명 가능한 강건성을 향상시킨다.
• 희소성과 RS Loss의 결합이 최첨단 정확도를 유지하면서도 정확한 검증을 훨씬 빠르게 가능하게 한다.
• +RS 네트워크는 테스트된 모든 epsilon에서 더 높은 Provable Adversarial Accuracy를 달성한다(예: MNIST epsilon=0.1에서 91.58%에서 94.33%로).
• 이 방법은 CIFAR-10에서 개선된 증명 가능한 강건성을 보여주며, 효율성을 유지한 채 더 큰 네트워크로 확장된다.