[논문 리뷰] PRIMA: Precise and General Neural Network Certification via Multi-Neuron Convex Relaxations

Mark Niklas Müller, Gleb Makarchuk외 3명|arXiv (Cornell University)|2021. 03. 05.

Adversarial Robustness in Machine Learning참고 문헌 69인용 수 13

한 줄 요약

PRIMA는 다양한 활성화 함수와 네트워크 아키텍처에서 높은 정밀도의 인증을 달성하기 위해 다중 뉴런 볼록 근사와 다항 시간 계산 기하 알고리즘을 사용하는 새로운 신경망 검증 프레임워크입니다. Tanh 기반 네트워크에서 기존 작업보다 최대 34% 더 많은 이미지의 정밀성과 안정성을 검증할 수 있으며, 실세계 자율 주행 네트워크의 정밀 검증을 몇 분 내에 수행할 수 있습니다.

ABSTRACT

Formal verification of neural networks is critical for their safe and secure adoption in real-world applications. However, designing a precise and scalable verifier which can handle different activation functions, realistic network architectures and relevant specifications remains an open and difficult challenge. In this paper, we take a major step in addressing this challenge and present a new verification framework, called PRIMA. PRIMA is both (i) general: it handles any non-linear activation function, and (ii) precise: it computes precise convex approximations involving multiple neurons via novel convex hull approximation algorithms that leverage concepts from computational geometry. The algorithms have polynomial complexity, yield fewer constraints, and minimize precision loss. We evaluate the effectiveness of PRIMA on a variety of challenging image classifiers from prior work. Our results show that PRIMA is significantly more precise than state-of-the-art, verifying robustness for up to 14%, 30%, and 34% more images than existing work on ReLU-, Sigmoid-, and Tanh-based networks, respectively. Further, PRIMA enables, for the first time, precise verification of a realistic neural network for autonomous driving within a few minutes.

연구 동기 및 목표

• 안전성과 보안이 요구되는 실세계 적용을 위한 신경망의 공식적 검증 도전 과제를 해결합니다.
• 기존 검증기의 한계를 극복합니다. 즉, 정밀도가 떨어지거나 특정 활성화 함수에 국한되거나 복잡한 아키텍처에 대해 확장성이 떨어지는 문제를 해결합니다.
• 모든 비선형 활성화 함수를 지원하면서도 높은 정밀도를 유지하는 일반 목적의 검증 프레임워크를 개발합니다.
• 실제로 사용되는 깊은 신경망, 특히 자율 주행에 사용되는 네트워크의 효율적이고 정밀한 검증을 가능하게 합니다.

제안 방법

• 다중 뉴런 상호작용을 정밀하게 모델링하기 위해 계산 기하학의 개념을 활용한 새로운 볼록 껍질 근사 알고리즘을 제안합니다.
• 정밀도 손실을 최소화하고 제약 조건 수를 줄이기 위해 다항 시간 알고리즘을 설계하여 볼록 근사를 계산합니다.
• 개별 뉴런 근사 대신 다중 뉴런 근사를 사용하여 검증 문제를 볼록 최적화 문제로 재구성합니다.
• 표준 딥 러닝 아키텍처와 다양한 활성화 함수와 호환되는 확장 가능한 검증 파이프라인에 근사 프레임워크를 통합합니다.
• 기하학적 통찰을 활용해 뉴런 출력에 대한 경계를 강화하여 강건성 검증의 정밀도를 향상시킵니다.
• 다중 뉴런 근사와 효율적인 브랜치 앤 바운드 또는 선형 프로그래밍 기법을 조합하여 복잡한 네트워크의 종단 간 검증을 지원합니다.

실험 결과

연구 질문

• RQ1 일반 목적의 검증 프레임워크는 어떤 비선형 활성화 함수라도 높은 정밀도를 유지하면서 처리할 수 있는가?
• RQ2 개별 뉴런 근사 대비 다중 뉴런 볼록 근사는 정밀도와 확장성 측면에서 어떻게 비교되는가?
• RQ3 제안된 볼록 껍질 근사 알고리즘이 정밀도를 희생시키지 않고 다항 시간 복잡도를 달성할 수 있는가?
• RQ4 이 프레임워크는 자율 주행에 사용되는 실제 대규모 신경망과 같은 현실적인 복잡한 네트워크에서 얼마나 강건성 검증을 수행할 수 있는가?
• RQ5 PRIMA의 정밀도는 ReLU, 시그모이드, Tanh와 같은 다양한 활성화 함수에서 최신 기술 수준의 검증기와 비교해 어떻게 되는가?

주요 결과

• ReLU 기반 네트워크에서 PRIMA는 기존 방법보다 최대 14% 더 많은 이미지의 강건성을 검증합니다.
• 시그모이드 기반 네트워크에서 PRIMA는 이전 작업 대비 검증 커버리지가 30% 향상됩니다.
• Tanh 기반 네트워크에서 PRIMA는 검증된 이미지 수에서 34%의 개선을 달성합니다.
• PRIMA는 몇 분 내에 실제 자율 주행 신경망의 정밀 검증을 수행할 수 있으며, 이는 이전에는 달성되지 못한 능력입니다.
• 제안된 볼록 껍질 근사 알고리즘은 정밀도 손실을 최소화하고 제약 조건 수를 줄이며 다항 시간 복잡도를 달성합니다.
• 이 프레임워크는 성능을 희생시키지 않고 다양한 활성화 함수와 복잡한 아키텍처에 대해 강력한 일반화 능력을 보입니다.