[논문 리뷰] Provably Bounding Neural Network Preimages

Suhas Kotha, Christopher Brix외 3명|arXiv (Cornell University)|2023. 02. 02.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 GPU 가속 기반의 경계 전파 기반 알고리즘인 INVPROP를 소개한다. 이 알고리즘은 신경망의 전역을 증명 가능하게 초과 근사하는 데 목적이 있으며, 즉 주어진 선형 제약 조건을 만족하는 출력을 생성하는 모든 입력을 식별한다. 기존 방법과 달리 선형 프로그래밍 솔버를 사용하지 않고 출력 제약 조건을 활용하여 중간 활성화 경계를 강화함으로써, 최대 2500배 더 날카운 경계와 기존 최고 수준 대비 2.5배 빠른 검증을 달성한다. 제어 및 강건성 기준 테스트에서 성능을 입증하였다.

ABSTRACT

Most work on the formal verification of neural networks has focused on bounding the set of outputs that correspond to a given set of inputs (for example, bounded perturbations of a nominal input). However, many use cases of neural network verification require solving the inverse problem, or over-approximating the set of inputs that lead to certain outputs. We present the INVPROP algorithm for verifying properties over the preimage of a linearly constrained output set, which can be combined with branch-and-bound to increase precision. Contrary to other approaches, our efficient algorithm is GPU-accelerated and does not require a linear programming solver. We demonstrate our algorithm for identifying safe control regions for a dynamical system via backward reachability analysis, verifying adversarial robustness, and detecting out-of-distribution inputs to a neural network. Our results show that in certain settings, we find over-approximations over 2500x tighter than prior work while being 2.5x faster. By strengthening robustness verification with output constraints, we consistently verify more properties than the previous state-of-the-art on multiple benchmarks, including a large model with 167k neurons in VNN-COMP 2023. Our algorithm has been incorporated into the $α,\!β$-CROWN verifier, available at https://abcrown.org.

연구 동기 및 목표

• 선형 제약 조건 하에 특정 출력 집합을 유도하는 입력 집합을 증명 가능하게 초과 근사하는 역 검증 문제를 해결하는 것.
• 선형 프로그래밍 솔버에 의존하지 않고 출력 제약 조건을 활용해 중간 활성화 경계를 강화하는 방법을 개발하는 것.
• α,β-CROWN과 같은 기존 검증 프레임워크와 통합하여 강건성 및 안전성 검증의 정밀도를 향상시키는 것.
• 신경망 기반 동적 시스템의 안전 및 비안전 입력 영역을 식별함으로써 역 방향 도달 가능성 분석을 가능하게 하는 것.
• 높은 신뢰도 예측을 유도하는 입력 영역을 식별함으로써 인증 가능한 외부 분포(OOD) 탐지 능력을 강화하는 것.

제안 방법

• INVPROP는 경계 전파를 역방향으로 일반화하여 출력 제약 조건을 네트워크를 거슬러 올라가며 전파함으로써 중간 레이어의 경계를 강화한다.
• 출력 제약 조건을 통합한 새로운 역방향 전파 방식을 사용하여 임의의 중간 레이어에 대한 경계를 계산한다.
• 선형 프로그래밍을 피하기 위해 미분 가능이고 유연한 완화 기법을 사용하여 제약 조건을 효율적으로 전파한다.
• 전방향 및 역방향 경계 전파를 통합하여 α,β-CROWN과 같은 최고 수준의 도구와의 통합을 가능하게 한다.
• 전체 레이어에 걸쳐 반복적 개선을 통해 경계를 강화하며, 전역 네트워크 구조를 활용해 더 날카운 초과 근사를 달성한다.
• GPU 가속을 지원하며 고차원 입력 공간에서도 확장 가능한 설계를 한다.

실험 결과

연구 질문

• RQ1 선형 프로그래밍에 의존하지 않고 효율적으로 신경망 출력 집합의 전역을 초과 근사할 수 있는가?
• RQ2 출력 제약 조건은 역방향 전파 프레임워크에서 어떻게 중간 활성화 경계를 강화하는 데 활용될 수 있는가?
• RQ3 INVPROP는 안전 중심 제어 시스템의 공식 검증 정밀도와 속도를 어느 정도 향상시킬 수 있는가?
• RQ4 출력 제약 조건을 통합함으로써 INVPROP는 인증 가능한 강건성 검증을 향상시킬 수 있는가?
• RQ5 INVPROP는 높은 신뢰도 예측을 유도하는 입력 영역을 식별함으로써 인증 가능한 OOD 탐지에 활용될 수 있는가?

주요 결과

• 더블 인tegr레이터 제어 기준 테스트에서 INVPROP는 이전 작업 대비 최대 2500배 더 날카운 경계를 확보하면서도 2.5배 더 빠른 성능을 보였다.
• 6차원 퀴드로터 시스템에서 INVPROP는 이전 방법 대비 257배 더 날카운 경계를 생성하고, 3.29배 더 빠른 속도를 기록했다.
• 출력 제약 조건을 통합함으로써 INVPROP는 더 강력한 강건성 검증을 가능하게 하여 이전 최고 수준을 뛰어넘는 성능을 달성했다.
• INVPROP는 높은 신뢰도 예측을 유도하는 입력 영역을 식별함으로써 인증 가능한 OOD 탐지 성능을 향상시켰다.
• α,β-CROWN 검증기와 통합되어 VNN-COMP 2023에서 최대 167,000개의 뉴런을 가진 대규모 모델에서도 실용적인 확장성을 입증했다.
• INVPROP는 선형 프로그래밍 의존성이 없고 GPU 가속을 지원함으로써 반복적 개선 환경에서 기존 LP 기반 대비 훨씬 더 효율적인 성능을 보였다.