[논문 리뷰] The Convex Relaxation Barrier, Revisited: Tightened Single-Neuron Relaxations for Neural Network Verification

Christian Tjandraatmadja, Ross Anderson외 4명|arXiv (Cornell University)|2020. 06. 24.

Adversarial Robustness in Machine Learning참고 문헌 48인용 수 38

한 줄 요약

다변수 사전 활성화 입력을 반영하는 더 촘촘한 단일 뉴런 볼록 완화를 도입하여 LP 및 전파 기반 방법으로 더 강한 검증을 가능하게 하고 전통적인 Delta-완화의 한계를 넘어선다.

ABSTRACT

We improve the effectiveness of propagation- and linear-optimization-based neural network verification algorithms with a new tightened convex relaxation for ReLU neurons. Unlike previous single-neuron relaxations which focus only on the univariate input space of the ReLU, our method considers the multivariate input space of the affine pre-activation function preceding the ReLU. Using results from submodularity and convex geometry, we derive an explicit description of the tightest possible convex relaxation when this multivariate input is over a box domain. We show that our convex relaxation is significantly stronger than the commonly used univariate-input relaxation which has been proposed as a natural convex relaxation barrier for verification. While our description of the relaxation may require an exponential number of inequalities, we show that they can be separated in linear time and hence can be efficiently incorporated into optimization algorithms on an as-needed basis. Based on this novel relaxation, we design two polynomial-time algorithms for neural network verification: a linear-programming-based algorithm that leverages the full power of our relaxation, and a fast propagation algorithm that generalizes existing approaches. In both cases, we show that for a modest increase in computational effort, our strengthened relaxation enables us to verify a significantly larger number of instances compared to similar algorithms.

연구 동기 및 목표

• 일변 Delta-완화 경계를 넘어 볼록 완화를 더 촘촘하게 만들어 신경망 검증을 향상시키는 것.
• 다변수 사전 활성화 입력을 사용하는 단일 뉴런 완화를 개발하여 더 강한 상한을 얻는다.
• LP 및 전파 기반 검증기에 지수 불평등 완화를 포함시키기 위한 효율적 분리 루틴을 제공한다.
• Elide 완화를 활용하는 전파 기반(FastC2V) 및 LP 기반(OptC2V) 알고리즘을 설계한다.
• ERAN 데이터셋 네트워크에서 기준 검증기와 비교하여 실증적 향상을 보여준다.

제안 방법

• ReLU, 선형 사전 활성화, 입력 한계를 포함하는 단일 뉴런의 가장 빽빽한 볼록 완화에 대한 명시적 선형 부등식 설명을 유도한다.
• 완화(Conv(S))가 지수적으로 커질 수 있지만 선형 시간에 분리 가능하다는 것을 보이고, 실용적 사용을 가능하게 한다.
• 명시적 사전 활성화 변수들을 다변수 입력 집합 S^i에 대한 볼록 궤환(convex hull)으로 대체하는 Elide 완화를 도입하여 gamma_Elide를 얻는다.
• 전체 Elide 완화를 활용하는 LP 기반 검증기 OptC2V와 Elide 부등식을 사용해 경계를 동적으로 업데이트하는 전파 기반의 빠른 검증기 FastC2V의 두 알고리즘을 개발한다.
• Elide 설명(6b)으로 위반되는 부등식을 식별하는 분리 절차를 제공하고 이를 역방향/전방향 경계 전파 패스에 통합한다.

실험 결과

연구 질문

• RQ1 다변수 사전 활성화 입력을 반영하는 촘촘한 볼록 완화가 신경망 검증에서 전통적인 Delta-완화를 능가할 수 있는가?
• RQ2 실용적 사용을 위한 Elide 볼록 완화를 정의하는 지수적으로 많은 부등식을 분리하는 계산적으로 효율적인 방법이 있는가?
• RQ3 Elide 완화를 활용하는 전파 기반 및 LP 기반 검증기가 표준 데이터셋에서 Delta-완화 기준보다 더 강건한 사례를 인증하는가?
• RQ4 Elide 기반 검증이 RefineZono 및 kPoly 같은 최첨단 방법과 비교할 때 인증된 사례 수와 시간에서 어떤 차이가 있는가?
• RQ5 새로운 부등식을 사용해 경계 함수를 동적으로 업데이트하는 것이 실험적으로 어떤 영향을 미치는가?

주요 결과

방법	MNIST 6x100	MNIST 9x100	MNIST 6x200	MNIST 9x200	MNIST ConvS	MNIST ConvB	CIFAR-10 ConvS
DeepPoly	160	182	292	259	162	652	359
FastC2V	279	269	477	392	274	691	390
LP	201	223	344	307	242	743	373
OptC2V	429	384	601	528	436	771	398
RefineZono	312	304	341	316	179	648	347
kPoly	441	369	574	506	347	736	399
Upper bound	842	820	901	911	746	831	482

• Elide 완화는 Delta-완화를 넘어 단일 뉴런 완화를 크게 강화하고 단일 뉴런 완화 범위 내에서 볼록 장벽을 우회한다.
• 뉴런의 가장 빽빽한 볼록 완화에 대한 명시적 선형 부등식 설명이 존재하며 최악의 경우 부등식은 지수적이지만 선형 시간 분리 루틴이 가능하다.
• 분리 루틴은 지수적 설명의 실용적 사용을 FastC2V(전파 기반) 및 OptC2V(LP 기반) 두 알고리즘을 통해 가능하게 하며 두 알고리즘 모두 검증 능력이 향상된다.
• ERAN 데이터셋 네트워크에 대한 실험 결과 FastC2V가 가장 강력한 Delta-완화 바운드 방법보다 더 많은 이미지를 인증하며 여러 네트워크에서 RefineZono 및 kPoly와 경쟁력이 있다.
• OptC2V 및 Cut-to-Verify LP 기반 접근 방식은 검증 가능한 이미지 수를 크게 늘리지만 인스턴스당 계산 시간이 더 크게 소요된다; 전반적으로 Elide 기반 방법은 많은 경우 Delta-완화 기준선을 능가한다.
• MNIST 및 CIFAR-10 변형을 포함한 네트워크에서도 이러한 방법들은 더 많은 이미지를 검증하고 검증율과 연산 시간 간에 유리한 트레이드를 보여준다