[논문 리뷰] Improved Branch and Bound for Neural Network Verification via Lagrangian Decomposition

Alessandro De Palma, Rudy Bunel외 5명|arXiv (Cornell University)|2021. 04. 14.

Adversarial Robustness in Machine Learning참고 문헌 44인용 수 16

한 줄 요약

이 논문은 라그랑주 분해 기반 이중 최적화와 새로운 활성화 기반 분할 전략을 통해 확장성과 효율성을 향상시킨 신경망 검증을 위한 새로운 브랜치 앤 바운드 프레임워크 BaDNB를 제안한다. 제한된 이중 공간을 통해 경계를 강화하고 GPU에서 병렬 처리 가능한 계산을 가능하게 함으로써, 기존 완전 검증기 대비 악성 공격에 대한 강건성 성질에서 평균 검증 시간을 최대 50배까지 단축시킨다.

ABSTRACT

We improve the scalability of Branch and Bound (BaB) algorithms for formally proving input-output properties of neural networks. First, we propose novel bounding algorithms based on Lagrangian Decomposition. Previous works have used off-the-shelf solvers to solve relaxations at each node of the BaB tree, or constructed weaker relaxations that can be solved efficiently, but lead to unnecessarily weak bounds. Our formulation restricts the optimization to a subspace of the dual domain that is guaranteed to contain the optimum, resulting in accelerated convergence. Furthermore, it allows for a massively parallel implementation, which is amenable to GPU acceleration via modern deep learning frameworks. Second, we present a novel activation-based branching strategy. By coupling an inexpensive heuristic with fast dual bounding, our branching scheme greatly reduces the size of the BaB tree compared to previous heuristic methods. Moreover, it performs competitively with a recent strategy based on learning algorithms, without its large offline training cost. Finally, we design a BaB framework, named Branch and Dual Network Bound (BaDNB), based on our novel bounding and branching algorithms. We show that BaDNB outperforms previous complete verification systems by a large margin, cutting average verification times by factors up to 50 on adversarial robustness properties.

연구 동기 및 목표

• 기존의 완전 검증 방법이 가지는 확장성 한계를 해결하기 위해.
• 라그랑주 분해를 활용해 브랜치 앤 바운드 검증에서 이중 경계의 날카움과 속도를 향상시키기 위해.
• 비용이 많이 드는 오프라인 학습이 필요 없이 트리 크기를 줄이는 데 기여하는 분할 전략을 설계하기 위해.
• 딥 러닝 프레임워크를 활용해 효율적이고 대량 병렬 처리가 가능한 경계 계산을 가능하게 하기 위해.

제안 방법

• 최적값을 포함함이 보장된 부분공간으로 이중 영역를 제한하는 새로운 이중 공식화를 제안하여, 이전의 라그랑주 완화 방법보다 더 날카운 경계를 도출한다.
• 초기 경사 상승법과 프록시멀 방법이라는 두 가지 솔버를 개발하였으며, 신경망의 순방향/역방향 전파와 유사한 연산에 의존하므로 GPU 가속이 가능하다.
• 수렴 속도를 향상시키면서도 경계의 날카움을 유지하는 모멘타움 강화 이중 업데이트 규칙을 설계하였다.
• 빠른 이중 경계와 경량 히وري스틱을 조합하여 BaB 트리 크기를 크게 줄이는 활성화 기반 분할 전략을 도입하였다.
• 렐루 네트워크의 볼록 구조를 활용해 이중 문제를 해석적으로 단계 크기를 설정할 수 있는 강력히 볼록한 부분문제로 분해하였다.
• 신규 경계 및 분할 구성 요소를 통합한 완전한 검증 시스템 BaDNB를 구현하여 종단 간 성능 향상을 달성하였다.

실험 결과

연구 질문

• RQ1 라그랑주 분해는 신경망 검증에서 표준 라그랑주 완화보다 더 날카운 이중 경계를 도출할 수 있는가?
• RQ2 제안된 이중 공식화는 딥 러닝 하드웨어를 활용해 효율적으로 병렬 처리하고 가속화할 수 있는가?
• RQ3 활성화 기반 분할 전략은 기존 히وري스틱 및 학습된 방법보다 BaB 트리 크기를 줄이는 데 뛰어난가?
• RQ4 새로운 경계 및 분할 방법은 실제 세계의 강건성 성질에서 검증 시간을 얼마나 줄일 수 있는가?

주요 결과

• 제안된 라그랑주 분해 기반 이중 공식화는 Dvijotham 등(2018)의 결과와 비교해 최소한 동일한 날카움을 유지하거나 더 날카운 경계를 도출하며, 수렴 속도는 유사하거나 빠르다.
• 프록시멀 솔버는 경계 품질과 수렴 속도 면에서 초기 경사 상승법보다 뛰어나며, 특히 어려운 검증 문제에서 두드러진 성능을 보인다.
• 새로운 이중 공식화는 효율적인 GPU 병렬 처리를 가능하게 하여, 여러 네트워크 유닛에서 경계 계산 속도를 크게 향상시킨다.
• 활성화 기반 분할 전략은 BaB 트리 크기를 크게 줄여 기존의 전통적 히وري스틱을 뛰어나며, 오프라인 학습이 필요 없이 학습된 방법의 성능을 따라잡는다.
• BaDNB는 이전의 완전 검증 시스템 대비 악성 공격에 대한 강건성 성질에서 평균 검증 시간을 최대 50배까지 단축시킨다.
• CIFAR-10 네트워크에서의 실험 결과, 비악성 공격 학습 조건에서도 넓은 범위의 검증 반경에서 더 날카운 경계를 유지하는 것으로 나타났다.