[논문 리뷰] Scalable Verification of Quantized Neural Networks (Technical Report)

Thomas A. Henzinger, Mathias Lechner외 1명|arXiv (Cornell University)|2020. 12. 15.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 4

한 줄 요약

이 논문은 비트 수준의 반올림 오차를 고려하는 확장 가능한 SMT 기반 검증 프레임워크를 제안한다. 이러한 오차는 기존 검증 방법에서 忽略된다. 변수 사전 계산, 최소 비트 폭 인코딩, 부재성 제거 기법을 도입함으로써, 이 접근법은 적대적 강건성 벤치마크에서 기존 도구 대비 최대 1,000배의 속도 향상을 달성한다. 이는 PSPACE-어려운 복잡도에도 불구하고 비트 정확한 검증이 가능하다는 것을 보여준다.

ABSTRACT

Formal verification of neural networks is an active topic of research, and recent advances have significantly increased the size of the networks that verification tools can handle. However, most methods are designed for verification of an idealized model of the actual network which works over real arithmetic and ignores rounding imprecisions. This idealization is in stark contrast to network quantization, which is a technique that trades numerical precision for computational efficiency and is, therefore, often applied in practice. Neglecting rounding errors of such low-bit quantized neural networks has been shown to lead to wrong conclusions about the network's correctness. Thus, the desired approach for verifying quantized neural networks would be one that takes these rounding errors into account. In this paper, we show that verifying the bit-exact implementation of quantized neural networks with bit-vector specifications is PSPACE-hard, even though verifying idealized real-valued networks and satisfiability of bit-vector specifications alone are each in NP. Furthermore, we explore several practical heuristics toward closing the complexity gap between idealized and bit-exact verification. In particular, we propose three techniques for making SMT-based verification of quantized neural networks more scalable. Our experiments demonstrate that our proposed methods allow a speedup of up to three orders of magnitude over existing approaches.

연구 동기 및 목표

• 실제로 널리 사용되지만 반올림 오차로 인해 검증에서 忽略되는 양자화된 신경망의 공식 검증에 격차가 존재하는 문제를 해결하기 위해.
• 비트 벡터 사양을 가진 양자화된 신경망의 검증 문제가 비록 논리 만족 가능성은 NP에 속하지만, PSPACE-어려운 문제임을 보여주기 위해.
• 이dealized(실수값 기반)과 비트 정확한(양자화된) 신경망 검증 간의 확장성 격차를 해소하기 위해.
• 양자화된 네트워크를 위한 실용적인 SMT 인코딩 기법을 개발하여 인코딩 크기를 줄이고 솔버 성능을 향상시키기 위해.
• 표준 적대적 강건성 벤치마크에서 뚜렷한 성능 향상을 보여주기 위해.

제안 방법

• 입력에 독립적인 일부 변수와 제약 조건의 값을 사전 계산하는 기법을 도입하여 SMT 인코딩 크기를 줄였다.
• 기존 연구 대비 비트 벡터 표현을 크게 축소하는 최소 비트 폭 인코딩 기법을 제안했다.
• 네트워크 의미론에서 발생하는 비트 수준의 중복성을 활용하여 인코딩을 단순화하는 부재성 제거 히우리스틱을 개발했다.
• 추상 해석을 적용하여 양자화된 네트워크의 도달 가능한 값 범위를 분석하고, 더 효율적인 인코딩을 유도했다.
• 이러한 기법들을 비트 벡터 논리 기반의 SMT 기반 검증 파이프라인에 통합했다.
• 포트폴리오 SMT 솔버(Boolector)를 활용하고, 다양한 벤치마크에서 성능을 평가했다.

실험 결과

연구 질문

• RQ1 비트 벡터 사양을 가진 양자화된 신경망의 검증 문제는 이상화된 실수값 기반 네트워크보다 더 복잡한가?
• RQ2 PSPACE-어려운 복잡도에도 불구하고, 양자화된 네트워크의 SMT 기반 검증은 확장 가능하게 만들 수 있는가?
• RQ3 어떤 특정 인코딩 최적화 기법이 SMT 기반 양자화된 네트워크 검증에서 가장 큰 성능 향상을 이끌어내는가?
• RQ4 비트 수준의 반올림 오차를 忽略할 경우 검증 결과의 정확성에 어떤 영향을 미치는가?
• RQ5 개별 최적화 기법이 전체 성능 향상에 기여하는 정도는 어느 정도인가?

주요 결과

• 비트 벡터 사양을 가진 양자화된 신경망의 검증 문제는 비록 기초 논리의 만족 가능성은 NP에 속하지만, PSPACE-어려운 문제로 증명되었다.
• 제안된 방법은 적대적 강건성 검증 벤치마크에서 기존 도구 대비 3개 이상의 주기수(최대 1,000배)의 속도 향상을 달성했다.
• MNIST 데이터셋에서 391개의 인스턴스 중 318개(81.3%)를 해결했으며 누적 실행 시간은 7.9시간이었고, 이는 모든 아블레이션 변형보다 뛰어난 성능을 보였다.
• ReLU 단순화 기법이 성능 향상에 가장 크게 기여했으며, 비트 폭 최소화와 부재성 제거 기법은 솔버 히우리스틱으로 인해 제한적인 영향을 미쳤다.
• 아블레이션 연구 결과, 세 가지 주요 기법 중 어느 하나라도 비활성화할 경우 해결 가능한 인스턴스 수가 감소함을 확인하여 각 기법의 개별 기여도를 입증했다.
• 결과적으로, 타겟된 인코딩 최적화 기법과 결합할 경우 비트 정확한 검증이 가능하고 실용적임을 보여주었다.