[논문 리뷰] Parallelization Techniques for Verifying Neural Networks

Haoze Wu, Alex Ozdemir외 8명|arXiv (Cornell University)|2020. 04. 17.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 24

한 줄 요약

이 논문은 입력 공간 또는 ReLU 활성화 단계를 분할하여 확장 가능한 검증을 가능하게 하는 Split-and-Conquer (S&C) 알고리즘을 사용한 병렬화된 신경망 검증 프레임워크를 제시한다. 극성 기반 히우리스틱과 매우 병렬화 가능한 사전 처리 단계를 도입함으로써, 대규모 DNN에서 성능이 크게 향상되었으며, 클라우드 플랫폼에서 100명 이상의 워커를 초월해 초스케일 실험에서 강력한 선형 속도 향상이 관찰되었다.

ABSTRACT

Inspired by recent successes with parallel optimization techniques for solving Boolean satisfiability, we investigate a set of strategies and heuristics that aim to leverage parallel computing to improve the scalability of neural network verification. We introduce an algorithm based on partitioning the verification problem in an iterative manner and explore two partitioning strategies, that work by partitioning the input space or by case splitting on the phases of the neuron activations, respectively. We also introduce a highly parallelizable pre-processing algorithm that uses the neuron activation phases to simplify the neural network verification problems. An extensive experimental evaluation shows the benefit of these techniques on both existing benchmarks and new benchmarks from the aviation domain. A preliminary experiment with ultra-scaling our algorithm using a large distributed cloud-based platform also shows promising results.

연구 동기 및 목표

• 안전 중심 애플리케이션에서 신경망 검증의 확장성 한계를 해결하기 위해.
• 병렬 컴퓨팅을 활용하여 ReLU 활성화 기반의 깊은 신경망의 공식 검증을 가속화하기 위해.
• 새로운 분할 및 히우리스틱 전략을 통해 Marabou 검증 프레임워크의 성능을 향상시키기 위해.
• 복잡한 검증 문제의 효율적이고 고도로 병렬화된 단순화 및 해법을 가능하게 하기 위해.
• 실세계 벤치마크에서 접근법을 평가하고 클라우드 인프라에서의 초스케일링 성능을 입증하기 위해.

제안 방법

• Split-and-Conquer (S&C) 알고리즘은 입력 도메인 또는 ReLU 뉴런의 활성화 단계를 분할하여 검증 문제를 분할한다.
• 두 가지 새로운 분할 전략이 도입된다: 입력 기반 분할과 ReLU-단계 기반 케이스 분할.
• 극성 기반 분할 히우리스틱을 사용하여 분할 결정을 안내함으로써 검색 효율성을 향상시킨다.
• 극성 기반 방향 히우리스틱은 검색 중 더 유망한 분지 우선순위를 정하기 위해 사용된다.
• 매우 병렬화 가능한 사전 처리 알고리즘이 제약 조건과 뉴런의 중복 제거를 통해 검증 문제를 단순화한다.
• 이 접근법은 Marabou 프레임워크 내부에 구현되었으며, 기존 및 신규 항공 분야 벤치마크를 사용해 평가되었다.

실험 결과

연구 질문

• RQ1 입력 공간 또는 ReLU 활성화 단계 분할이 신경망 검증의 확장성 향상에 기여하는가?
• RQ2 극성 기반 히우리스틱이 검증 중 검색 공간을 안내하는 데 얼마나 효과적인가?
• RQ3 사전 처리를 병렬화하여 검증 문제의 복잡도를 크게 줄일 수 있는가?
• RQ4 S&C 접근법이 대규모 분산 클라우드 플랫폼에서 어느 정도 확장 가능한가?
• RQ5 제안된 방법은 Neurify 및 이전 Marabou 버전과 비교해 어떻게 성능을 냈는가?

주요 결과

• 입력 기반 분할을 사용한 S&C 접근법은 많은 입력을 가진 대규모 인식 네트워크에서 원래 Marabou보다 뛰어난 성능을 보였다.
• 극성 기반 히우리스틱은 검색 공간 탐색을 줄이고 해법 효율성을 향상시켰다.
• 사전 처리 알고리즘이 검증 문제를 크게 단순화했으며, 매우 병렬화 가능했다.
• 아마존 람다에서의 초스케일 실험 결과, 100명 이상의 워커에서 강력한 선형 속도 향상이 관찰되어 수평 확장성에 뛰어난 성능을 보였다.
• 향상된 Marabou 구현은 특히 고입력 네트워크에서 도전적인 벤치마크에서 Neurify보다 뛰어난 성능을 기록했다.
• 기존 및 신규 도입된 항공 분야 벤치마크 전반에서 일관된 성능 향상이 입증되었다.