[논문 리뷰] Formal Security Analysis of Neural Networks using Symbolic Intervals

Shiqi Wang, Kexin Pei외 3명|arXiv (Cornell University)|2018. 04. 28.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 152

한 줄 요약

ReluVal은 SMT 솔버 없이 기호 구간 분석과 반복적 정제를 사용하여 DNN 보안 속성을 형식적으로 검증하고, Reluplex에 비해 상당한 속도 향상을 달성하며 구체적 보장 또는 반례를 제공한다.

ABSTRACT

Due to the increasing deployment of Deep Neural Networks (DNNs) in real-world security-critical domains including autonomous vehicles and collision avoidance systems, formally checking security properties of DNNs, especially under different attacker capabilities, is becoming crucial. Most existing security testing techniques for DNNs try to find adversarial examples without providing any formal security guarantees about the non-existence of such adversarial examples. Recently, several projects have used different types of Satisfiability Modulo Theory (SMT) solvers to formally check security properties of DNNs. However, all of these approaches are limited by the high overhead caused by the solver. In this paper, we present a new direction for formally checking security properties of DNNs without using SMT solvers. Instead, we leverage interval arithmetic to compute rigorous bounds on the DNN outputs. Our approach, unlike existing solver-based approaches, is easily parallelizable. We further present symbolic interval analysis along with several other optimizations to minimize overestimations of output bounds. We design, implement, and evaluate our approach as part of ReluVal, a system for formally checking security properties of Relu-based DNNs. Our extensive empirical results show that ReluVal outperforms Reluplex, a state-of-the-art solver-based system, by 200 times on average. On a single 8-core machine without GPUs, within 4 hours, ReluVal is able to verify a security property that Reluplex deemed inconclusive due to timeout after running for more than 5 days. Our experiments demonstrate that symbolic interval analysis is a promising new direction towards rigorously analyzing different security properties of DNNs.

연구 동기 및 목표

• 보안이 중요한 도메인에서 DNN에 대한 형식적 보안 보장의 필요성을 제고한다.
• 입출력 보안 속성을 검증하기 위해 구간 산술을 이용한 솔버 없는 접근법을 제시한다.
• 입력 의존성으로 인한 구간 과대추정 문제를 기호 구간과 반복적 정제를 통해 완화한다.
• 해당 벤치마크에서 방법의 확장성과 솔버 기반 접근법보다 우수함을 보여준다.

제안 방법

• 구간 산술을 사용하여 입력 구간을 DNN을 통해 전파하고 출력 경계를 얻는다.
• 선형 심볼릭 경계를 추적하는 기호 구간 전파로 의존성에 의해 생기는 과대 추정을 완화한다.
• 입력 범위를 이등분하여 출력 경계를 좁히는 반복적 구간 정제를 적용한다.
• ReLU 비선형성으로 의존성을 유지할 수 없을 때 기호 경계를 구체화한다.
• 정제 방향을 이끄는 계층별 그래디언트를 추정해 입력 영향력을 분석한다.
• 포함 등온성 및 Lipschitz 연속성에 기반한 정확성 증명을 제공한다.

실험 결과

연구 질문

• RQ1 기호 구간을 보강한 구간 산술이 주어진 입력 범위 내에서 DNN이 보안 속성을 위반하지 않는다는 형식적 보장을 제공할 수 있는가?
• RQ2 반복적 구간 정제가 Lipschitz 연속인 DNN에 대해 임의로 촘촘한 경계로 수렴하는가, 그리고 이것이 솔버 기반 접근법과 어떻게 비교되는가?
• RQ3 기호 구간과 영향 분석이 출력 경계의 촘촘함과 검증 효율성에 어떤 영향을 미치는가?
• RQ4 ACAS Xu 및 MNIST 네트워크에서 ReluVal의 실무 성능은 Reluplex와 비교하여 어떤가?
• RQ5 실세계 DNN에 대한 솔버 없는 검증 접근법의 실용적 한계와 확장성은 무엇인가?

주요 결과

• ReluVal은 ACAS Xu 및 MNIST 네트워크에서 테스트된 모든 보안 속성에 대해 형식적 보장을 제공할 수 있다.
• ReluVal은 평균적으로 Reluplex보다 200배 빠르다.
• ReluVal은 Reluplex가 5일 후에도 불확실하다고 판단한 보안 속성을 4시간 이내에 검증할 수 있다.
• 기호 구간은 입력 의존성을 활용하여 과대추정을 줄이고 경계 정확도를 크게 향상시킨다.
• 반복적 구간 정제는 Lipschitz 연속인 DNN에서 유한 단계로 수렴하여 충분한 정제가 이루어지면 임의로 촘촘한 경계를 가능하게 한다.
• MNIST 실험은 지정된 공격 경계에서 무작위 테스트 이미지 5000개 중 39.4%에 대해 강건성 검증을 보인다.