[논문 리뷰] QNNVerifier: A Tool for Verifying Neural Networks using SMT-Based Model Checking

Xidan Song, Edoardo Manino외 6명|arXiv (Cornell University)|2021. 11. 24.

Adversarial Robustness in Machine Learning참고 문헌 22인용 수 5

한 줄 요약

QNNVerifier는 SMT 기반 모델 체크를 사용하여 양자화된 신경망을 공식적으로 검증하는 데 있어 최초의 오픈소스 도구이며, 고정소수점 및 부동소수점 산술 연산, 조회표를 통한 임의의 활성화 함수, C 코드로 정의된 사용자 지정 안전성 성질을 지원합니다. 구간 분석, 불변성 추론, ESBMC와의 통합을 통해 상태 기반 검증 성능을 달성하여 AcasXu와 같은 벤치마크에서 기존 도구를 능가하며, 유한 단어 길이 효과를 고려합니다.

ABSTRACT

QNNVerifier is the first open-source tool for verifying implementations of neural networks that takes into account the finite word-length (i.e. quantization) of their operands. The novel support for quantization is achieved by employing state-of-the-art software model checking (SMC) techniques. It translates the implementation of neural networks to a decidable fragment of first-order logic based on satisfiability modulo theories (SMT). The effects of fixed- and floating-point operations are represented through direct implementations given a hardware-determined precision. Furthermore, QNNVerifier allows to specify bespoke safety properties and verify the resulting model with different verification strategies (incremental and k-induction) and SMT solvers. Finally, QNNVerifier is the first tool that combines invariant inference via interval analysis and discretization of non-linear activation functions to speed up the verification of neural networks by orders of magnitude. A video presentation of QNNVerifier is available at https://youtu.be/7jMgOL41zTY

연구 동기 및 목표

• 고정소수점 및 부동소수점 산술에서의 유한 단어 길이 효과를 고려한, 양자화된 신경망을 공식적으로 검증할 수 있는 오픈소스 도구의 부족을 해결하기 위해.
• 추상적인 수학적 모델이 아닌 실제 신경망 구현을 공식적으로 검증할 수 있도록 하여, 구현된 시스템에서의 정확성을 보장하기 위해.
• ONNX, Keras, TensorFlow, C 등 다양한 신경망 형식을 지원하고, 조회표를 통해 임의의 비선형 활성화 함수를 처리할 수 있도록 하기 위해.
• 사용자가 일반 C 코드로 assume 및 assert 문을 사용하여 안전성 성질을 완전히 표현할 수 있도록 하기 위해.
• 비선형 함수의 구간 분석 및 이산화를 통한 불변성 추론을 통해 검증 속도를 향상시켜, 성능을 크게 향상시키기 위해.

제안 방법

• SMT를 사용하여 신경망 구현을 일阶논리의 결정 가능 부분으로 변환하며, 고정소수점 및 부동소수점 연산은 하드웨어에 의해 결정된 정밀도로 표현합니다.
• ONNX, NNET, Keras, TensorFlow 및 네이티브 C 코드를 포함한 다양한 입력 형식을 지원하여 소스 코드 그대로의 검증이 가능합니다.
• 비선형 활성화 함수(예: 시그모이드, 하이퍼볼릭 탄젠트, ReLU)를 사전에 계산된 조회표로 대체하여, 오차가 제한된(SMT 인코딩이 효율적이며, ε ≤ 0.002) SMT 인코딩을 가능하게 합니다.
• Frama-C를 사용하여 각 뉴런에 대한 구간 불변성을 추론하고, 이를 assume 문으로 인코딩하여 검색 공간을 제약합니다.
• ESBMC를 백엔드 SMT 기반 모델 체커로 사용하여, 최신 SMT 솔버(Bitwuzla, Boolector, Yices, Z3)와의 통합 및 증분 검증 전략을 지원합니다.
• k-인덕션 및 증분 검증 전략을 모두 지원하여, 양자화된 네트워크의 스케일링 및 효율적인 분석을 가능하게 합니다.

실험 결과

연구 질문

• RQ1 SMT 기반 검증 도구는 고정소수점 및 부동소수점 표현에서의 유한 단어 길이 효과를 효율적으로 처리할 수 있는가?
• RQ2 구간 분석과 조회표 기반 활성화 함수의 통합은 직접 SMT 인코딩에 비해 검증 성능을 얼마나 향상시키는가?
• RQ3 양자화 수준(예: 8-, 16-, 32비트)이 검증 시간에 미치는 영향은 어느 정도이며, 성능의 상당한 트레이드오프가 존재하는가?
• RQ4 실제 C 코드로 구현된 ANN을 검증하는 도구가 추상적인 수학적 모델을 검증하는 도구와 비교해 유사한 성능을 달성할 수 있는가?
• RQ5 QNNVerifier가 임의의 활성화 함수와 사용자 지정 안전성 성질을 지원함으로써 다양한 신경망 아키텍처에 대한 적용 가능성은 어떻게 영향을 받는가?

주요 결과

• QNNVerifier는 양자화 효과를 고려함에도 불구하고, AcasXu 벤치마크에서 SMT 기반 도구인 Marabou를 능가하고, 도달성 기반 도구인 Neurify와 동등한 성능을 보였습니다.
• Bitwuzla와 Boolector는 거의 동일한 검증 시간을 보였고, Yices는 모든 벤치마크에서 유의미하게 빠른 성능을 보였으며, Z3는 대부분의 검증 작업을 완료하지 못했습니다.
• 단어 길이와 검증 시간 간의 상관관계는 16비트 이하의 단어 길이와 특정 안전성 성질에 대해서만 성립하며, 다양한 양자화 형식 간에 안전성 결과에 유의미한 차이는 없었습니다.
• ε ≤ 0.002인 활성화 함수의 조회표 사용은 정확하면서도 효율적인 SMT 인코딩을 가능하게 하여, 검증 시간을 수개월 단위로 감소시켰습니다.
• Frama-C를 통한 구간 분석 기반 불변성 추론은 검색 공간을 줄이고 검증 속도를 향상시키며, 특히 ReLU 및 시그모이드 활성화 함수를 포함한 깊은 네트워크에서 뚜렷한 성능 향상을 보였습니다.
• QNNVerifier는 ONNX, Keras, TensorFlow, C 등 여러 형식에서의 양자화된 ANN 전체 검증을 지원하고, 사용자 지정 안전성 성질 및 고정소수점 및 부동소수점 산술을 모두 지원하는 최초의 오픈소스 도구입니다.