[논문 리뷰] Abstraction and Refinement: Towards Scalable and Exact Verification of Neural Networks

Jiaxiang Liu, Yunhan Xing외 4명|arXiv (Cornell University)|2022. 07. 02.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 심층 신경망(DNNs)의 확장 가능하고 정확한 검증을 위한 새로운 추상화-정밀화 프레임워크를 제안한다. 추상화에는 상호보완적인 뉴런 병합 및 제거를, 정밀화에는 뉴런 분할 및 제거된 뉴런 복구를 활용한다. 이는 Marabou와 Planet보다 각각 최대 86.3% 및 78.0%의 속도 향상을 이끌어내며, 가장 유사한 이전 작업인 CEGAR-NN보다 11.6–26.6배 빠르며, 의존성 인식 정밀화 및 정확도 유도 전략을 통해 정확성과 타당성을 유지한다.

ABSTRACT

As a new programming paradigm, deep neural networks (DNNs) have been increasingly deployed in practice, but the lack of robustness hinders their applications in safety-critical domains. While there are techniques for verifying DNNs with formal guarantees, they are limited in scalability and accuracy. In this paper, we present a novel abstraction-refinement approach for scalable and exact DNN verification. Specifically, we propose a novel abstraction to break down the size of DNNs by over-approximation. The result of verifying the abstract DNN is always conclusive if no spurious counterexample is reported. To eliminate spurious counterexamples introduced by abstraction, we propose a novel counterexample-guided refinement that refines the abstract DNN to exclude a given spurious counterexample while still over-approximating the original one. Our approach is orthogonal to and can be integrated with many existing verification techniques. For demonstration, we implement our approach using two promising and exact tools Marabou and Planet as the underlying verification engines, and evaluate on widely-used benchmarks ACAS Xu, MNIST and CIFAR-10. The results show that our approach can boost their performance by solving more problems and reducing up to 86.3% and 78.0% verification time, respectively. Compared to the most relevant abstraction-refinement approach, our approach is 11.6-26.6 times faster.

연구 동기 및 목표

• 기존의 공식적 DNN 검증 기법의 확장성과 정확성 한계를 해결하기 위해.
• 신뢰할 수 있는 추상화를 통해 네트워크 복잡도를 감소시켜 대규모 DNN의 정확한 검증을 가능하게 하기 위해.
• 추상화 과정에서 발생하는 허위 반례를 제거하기 위해 타당성과 반례 유도 정밀화 과정을 통해 사라지지 않도록 보장하기 위해.
• 기존 정확한 검증 도구와의 통합을 통해 추상화 및 정밀화를 통해 효율성과 정밀도를 향상시키기 위해.
• 기존 검증 도구의 타당성 또는 완전성을 희생시키지 않고 최신 기술 수준의 검증 도구를 향상시키는 일반적이고 상호 보완적인 프레임워크를 제공하기 위해.

제안 방법

• 정확한 초과 근사화를 보장하기 위해 가중치 및 활성화 범위에 따라 안내되는 두 가지 추상화 원천을 제안한다: 뉴런 병합 및 뉴런 제거.
• 정확도 손실를 최소화하면서 반복마다 최대한 많은 뉴런을 감소시키는 추상화 전략을 도입하여 정밀도 비용을 최소화한다.
• 허위 반례를 제거하면서 초과 근사화를 유지하기 위해 두 가지 정밀화 원천인 뉴런 분할 및 제거된 뉴런 복구를 개발한다.
• 정밀화 단계의 순서를 제한함으로써 타당성을 보장하기 위해 의존성 그래프를 사용한다.
• 네트워크 크기 증가에 비례해 정밀도 복원을 최대화하는 데 초점을 맞춘 정확도 유도 전략을 사용하여 정밀화 원천을 선택한다.
• Marabou와 Planet와 같은 정확한 검증 백엔드와 프레임워크를 통합하여 기존 도구의 즉각적인 성능 향상을 가능하게 한다.

실험 결과

연구 질문

• RQ1 구조 기반 추상화-정밀화 프레임워크는 타당성 또는 완전성을 희생시키지 않고 정확한 DNN 검증의 확장성을 향상시킬 수 있는가?
• RQ2 어떻게 추상화를 설계하여 정확도 손실를 최소화하면서 네트워크 크기 감소를 극대화할 수 있는가?
• RQ3 허위 반례를 제거할 때 정밀화 과정을 어떻게 타당성과 효율성 모두를 확보할 수 있는가?
• RQ4 기존의 CEGAR 기반 DNN 검증 방법에 비해 이 접근법은 속도와 문제 커버리지 측면에서 얼마나 뛰어나게 성능을 높일 수 있는가?
• RQ5 이 프레임워크는 기존 정확한 검증 도구와 효과적으로 통합되어 성능 향상을 이끌 수 있는가?

주요 결과

• 제안된 방법은 Marabou와 Planet의 검증 문제 해결 능력을 높이고, 각각 최대 86.3%와 78.0%의 검증 시간 감소를 이끌어냈다.
• 동일한 벤치마크에서 가장 유사한 이전 작업인 CEGAR-NN보다 이 방법은 11.6–26.6배 더 빠르다.
• CEGAR-NN에 비해 추상화 전략이 네트워크 크기를 더 효과적으로 감소시키며, 전처리 과정에서 네트워크 크기를 최대 두 배로 늘리는 데 그치지만, CEGAR-NN는 네 배로 늘린다.
• 보완적인 원천과 의존성 인식 순서를 사용함으로써, 크기 증가에 비례한 정밀도 복원 비율이 높아졌다.
• 모든 추상화 및 정밀화 단계에서 정확성과 타당성이 유지되어 검증 과정에서 거짓 음성 결과가 발생하지 않는다.
• 기존 검증 도구와 상호 보완적이며 조합 가능하여, 기반 엔진을 수정하지 않고도 즉각적인 성능 향상을 제공한다.