[논문 리뷰] A DPLL(T) Framework for Verifying Deep Neural Networks

Hai Duong, ThanhVu Nguyen외 1명|arXiv (Cornell University)|2023. 07. 17.

Adversarial Robustness in Machine Learning인용 수 9

한 줄 요약

NeuralSAT은 ReLU 기반 DNN의 DPLL(T)-기반 검증기로 추상화, 절 학습, 그리고 재시작을 활용하여 검증의 규모 확장을 가능하게 하고, 최첨단 도구에 비해 우수한 확장성과 경쟁력 있는 성능을 보인다.

ABSTRACT

Deep Neural Networks (DNNs) have emerged as an effective approach to tackling real-world problems. However, like human-written software, DNNs can have bugs and can be attacked. To address this, research has explored a wide-range of algorithmic approaches to verify DNN behavior. In this work, we introduce NeuralSAT, a new verification approach that adapts the widely-used DPLL(T) algorithm used in modern SMT solvers. A key feature of SMT solvers is the use of conflict clause learning and search restart to scale verification. Unlike prior DNN verification approaches, NeuralSAT combines an abstraction-based deductive theory solver with clause learning and an evaluation clearly demonstrates the benefits of the approach on a set of challenging verification benchmarks.

연구 동기 및 목표

• 깊은 신경망의 견고한 검증을 동기화하고 기존 접근법의 규모 한계를 해결한다.
• 추상화와 절 학습을 통합한 DNN 검증기인 NeuralSAT를 제안한다.
• 도전적인 검증 벤치마크에서의 확장성과 성능을 입증한다.
• 실무에서 SMT/SAT 기반의 DNN 검증을 발전시키기 위한 오픈 소스 구현을 제공한다.

제안 방법

• neuron activations의 불리언 추상화를 사용하여 DNN 검증을 DPLL(T) 문제로 형식화한다.
• 추상화를 가진 LRA 기반 이론 해결기를 사용하여 연역적 추론 및 이론 전파를 수행한다.
• 충돌 기반 절 학습(CDCL) 및 재시작 간의 상호 작용을 통해 검증의 규모 확장을 도모한다.
• (h)**Filtered Smart Branching)**를 통해 탐색의 초점을 맞추기 위해 뉴런 분할(브랜칭)을 활용한다.
• NeuralSAT를 오픈 소스로 공개하고, 최첨단 DNN 검증기(Marabou 등) 및 VNN-COMP 참가자와 비교한다.

실험 결과

연구 질문

• RQ1 추상화와 절 학습을 갖춘 DPLL(T)-스타일의 해결기가 ReLU 기반 DNN의 속성들을 대규모로 효율적으로 검증할 수 있는가?
• RQ2 CDCL 및 재시크 기법이 이전 접근법과 비교했을 때 DNN 검증의 확장성과 효과에 어떤 영향을 미치는가?
• RQ3 도전적 벤치마크에서 NeuralSAT의 성능은 최첨단 DNN 검증기와 비교하여 어떤가, 그리고 빠른 경로 최적화와 관련된 트레이드오프는 무엇인가?
• RQ4 도메인 특화된 LRA 해결기를 추상화와 결합하는 것이 DNN 속성의 무불일치 검사에 어떤 개선을 가져오는가?

주요 결과

• NeuralSAT은 CDCL과 재시작의 통합을 통해 도전적인 벤치마크에서 해결 가능한 문제의 수를 53% 증가시켰다.
• NeuralSAT은 절 학습이 결여된 기존의 최상위 DPLL 기반 DNN 검증기인 Marabou를 상당히 능가한다.
• NeuralSAT은 최적의 경로 최적화를 제외하고 평가했을 때 VNN-COMP 대회의 벤치마크를 α-β-CROWN에 이어 2위로 차지한다.
• 이 접근법은 초기 프로토타입임에도 불구하고 도전적인 DNN 검증 문제를 해결하는 측면에서 바람직한 확장성 및 성능을 입증한다.
• 오픈 소스 NeuralSAT 구현이 SMT 기반 DNN 검증에서의 추가 연구 및 개발을 촉진하기 위해 공개된다.