[논문 리뷰] Lagrangian Decomposition for Neural Network Verification

Rudy Bunel, Alessandro De Palma외 5명|arXiv (Cornell University)|2020. 02. 24.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 8

한 줄 요약

이 논문은 신경망 검증을 위한 새로운 라그랑주 분해 방법을 제안하며, 문제의 구조를 활용하여 이전의 이중 방법보다 더 날카운 bound를 도출한다. 이 방법은 신경망 연산에 영감을 받은 슈퍼기울기 및 프록시멀 알고리즘을 사용하여 GPU 병렬 처리와 언제든지 중단할 수 있는 기능을 가능하게 하여, 동일한 시간 제약 조건 하에서 상용 솔버 및 이전의 이중 알고리즘보다 더 빠른 수렴 속도와 뛰어난 bound를 달성한다.

ABSTRACT

A fundamental component of neural network verification is the computation of bounds on the values their outputs can take. Previous methods have either used off-the-shelf solvers, discarding the problem structure, or relaxed the problem even further, making the bounds unnecessarily loose. We propose a novel approach based on Lagrangian Decomposition. Our formulation admits an efficient supergradient ascent algorithm, as well as an improved proximal algorithm. Both the algorithms offer three advantages: (i) they yield bounds that are provably at least as tight as previous dual algorithms relying on Lagrangian relaxations; (ii) they are based on operations analogous to forward/backward pass of neural networks layers and are therefore easily parallelizable, amenable to GPU implementation and able to take advantage of the convolutional structure of problems; and (iii) they allow for anytime stopping while still providing valid bounds. Empirically, we show that we obtain bounds comparable with off-the-shelf solvers in a fraction of their running time, and obtain tighter bounds in the same time as previous dual algorithms. This results in an overall speed-up when employing the bounds for formal verification. Code for our algorithms is available at https://github.com/oval-group/decomposition-plnn-bounds.

연구 동기 및 목표

• 신경망의 구조적 특성을 유지하면서 더 날카운, 더 확장 가능한 이중 근사값을 개발하기 위해.
• 신경망의 전방/역전파를 모방하는 최적화 알고리즘을 설계하여 효율적인 GPU 구현과 병렬 처리를 가능하게 하기 위해.
• 유효성 손상 없이 조기 종료가 가능한 anytime bound를 제공하기 위해.
• 분해를 통해 더 강력한 이중 문제를 유도하여 기존의 라그랑주 분해 방법을 향상시키기 위해.
• 부분적이고 완전한 검증 모두에서 속도와 날카움의 균형을 이루는 실용적인 검증 프레임워크를 제공하기 위해.

제안 방법

• 논문은 신경망 검증 문제를 혼합정수계획문제로 공식화하고, 각 뉴런별로 문제를 분할하는 라그랑주 분해를 적용하여 층 단위의 구조를 활용한다.
• 백프로파게이션과 유사한 연산을 통해 기울기를 계산하는 슈퍼기울기 상승 알고리즘을 도입하여 이중 변수를 업데이트함으로써 효율적인 병렬 처리를 가능하게 한다.
• 각 하위문제를 해석적으로 유도된 최적의 스텝 사이즈를 가진 강력한 볼록 최적화 문제로 해결하는 프록시멀 알고리즘을 개발한다.
• 분해 덕분에 이중 문제를 층 단위로 순차적으로 해결할 수 있으며, 전방/역전파를 모방하고 컨볼루션 구조의 활용도 가능하다.
• 두 알고리즘 모두 anytime 특성을 갖도록 설계되어, 어떤 반복 단계에서든 유효한 bound를 생성할 수 있으며, 실행 시간과 날카움 사이의 유연한 트레이드오���을 가능하게 한다.
• 이 방법은 GPU 기반으로 구현되어 단일 GPU에서 수백 개의 bound를 동시에 계산할 수 있어 검증 파이프라인의 속도를 크게 향상시킨다.

실험 결과

연구 질문

• RQ1 기존의 근사 기반 검증 방법보다 라그랑주 분해가 더 날카운 이중 bound를 도출할 수 있는가?
• RQ2 이중 최적화가 신경망 추론과 백프로파게이션을 모방하도록 구조화되어 있어 GPU 계산에 효율적인가?
• RQ3 제안된 알고리즘이 어떤 반복 단계에서든 유효한 bound를 제공할 수 있는가? 이는 속도와 정확도 사이의 민감한 트레이드오프를 가능하게 하는가?
• RQ4 분해 기반 이중 방법이 상용 솔버보다 bound 품질과 실행 시간 모두에서 뛰어나게 성능을 발휘하는가?
• RQ5 이 방법은 큰 네트워크와 동시에 여러 검증 성질에 대해 효과적으로 확장 가능한가?

주요 결과

• 제안된 라그랑주 분해 이중 방법은 Dvijotham 등(2018)의 결과보다 최소한 동일한 날카움을 보장하며, 실증 결과에서는 동일한 시간 내에 더 날카운 bound를 도출한다.
• 슈퍼기울기 및 프록시멀 알고리즘은 상용 솔버(Gurobi 등)와 비교해도 유사하거나 더 낮은 시간 내에 더 날카운 bound를 달성한다.
• 기본 모델에서 프록시멀 방법은 평균 해결 시간을 73.6초로 줄였으며(Gurobi의 545.7초 대비), 평균적으로 1377.7개의 하위문제를 해결했다.
• 어려운 검증 문제에서는 프록시멀 방법이 21.83%의 타임아웃률을 보였고, Gurobi의 41.31% 대비 더 뛰어난 확장성을 보였다.
• 이 방법은 단일 GPU에서 수백 개의 선형 프로그램을 동시에 해결할 수 있었으며, CPU 기반 시스템에서는 달성할 수 없는 수준의 병렬 처리를 달성했다.
• 부분적 검증 상황에서 프록시멀 방법은 DSG+ 및 기타 베이스라인보다 뛰어나게 성능을 발휘했으며, 특히 정상적으로 훈련된 네트워크에서 더 날카운 bound를 제공했고, 1040회 반복 후에도 여전히 우수한 성능을 보였다.