[논문 리뷰] Scaling Polyhedral Neural Network Verification on GPUs

Christoph Müller, François Serre외 3명|arXiv (Cornell University)|2020. 07. 20.

Adversarial Robustness in Machine Learning인용 수 15

한 줄 요약

GPUPoly는 대규모 딥 네ural 네트워크를 위한 확장 가능하고 정밀한 강건성 인증을 가능하게 하는 GPU 가속 신경망 검증기입니다. 고유한 정확한 다각형 추상 도메인을 사용하여, 이는 이전 방법 대비 최대 68,000배의 속도 향상을 이끌어내며, 100만 개의 뉴런을 가진 ResNet34를 단 34.5ms 내에 검증함으로써 대규모 모델에 대한 다각형 검증 분야에서 확장성과 정밀성의 새로운 기준을 수립합니다.

ABSTRACT

Certifying the robustness of neural networks against adversarial attacks is essential to their reliable adoption in safety-critical systems such as autonomous driving and medical diagnosis. Unfortunately, state-of-the-art verifiers either do not scale to bigger networks or are too imprecise to prove robustness, limiting their practical adoption. In this work, we introduce GPUPoly, a scalable verifier that can prove the robustness of significantly larger deep neural networks than previously possible. The key technical insight behind GPUPoly is the design of custom, sound polyhedra algorithms for neural network verification on a GPU. Our algorithms leverage the available GPU parallelism and inherent sparsity of the underlying verification task. GPUPoly scales to large networks: for example, it can prove the robustness of a 1M neuron, 34-layer deep residual network in approximately 34.5 ms. We believe GPUPoly is a promising step towards practical verification of real-world neural networks.

연구 동기 및 목표

• 100만 개 이상의 뉴런을 가진 대규모 모델에 대해 신경망 검증의 확장성-정밀성 트레이드오���을 해결합니다.
• GPU 하드웨어에서 다각형 추상 도메인을 사용하여 정확하고 부동소수점 연산에 대해 올바른 검증을 가능하게 합니다.
• GPU의 병렬 처리 능력과 컨볼루션 및 잔차 연결에서의 희소성 특성을 활용하여 CPU 기반 방법을 초월하는 검증 속도 향상을 이룹니다.
• 실제 응용 분야의 깊은 신경망, 특히 대규모 잔차 아키텍처에 대해 실용적인 검증 시간을 확보합니다.
• 특히 도전적인 대규모 네트워크에서 기존의 근사 검증기보다 정밀성과 확장성 면에서 뛰어나게 성능을 높입니다.

제안 방법

• 뉴런과 레이어 간의 세밀한 데이터 병렬 처리를 활용한 GPU 최적화 다각형 알고리즘을 설계합니다.
• 희소성 인식 표현을 사용하여 제한된 GPU 메모리 내에 대규모 네트워크를 수용할 수 있는 메모리 효율적인 데이터 구조를 구현합니다.
• GPU 부동소수점 연산에서 반올림 모드와 비결합성 등을 고려한 정확한 부동소수점 의미론 모델을 통합합니다.
• 강건성 검증이 확인된 경우 백대체 과정에서 조기 종료를 적용하여, 쉽게 검증 가능한 케이스의 런타임을 크게 줄입니다.
• ReLU 활성화 함수 출력을 초과 근사하기 위해 다각형 추상화를 사용하여 볼록 다각형 위에서 효율적인 선형 프로그래밍을 가능하게 합니다.
• 컨볼루션 및 잔차 연결에서의 희소성을 활용하여 계산 부담을 감소시키고 GPU 점유율을 향상시킵니다.

실험 결과

연구 질문

• RQ1 GPU 가속을 통해 다각형 검증을 100만 개의 뉴런을 가진 대규모 딥 네ural 네트워크에까지 확장할 수 있는가?
• RQ2 GPUPoly의 정밀성과 성능은 대규모 네트워크에서 최신의 근사 검증기인 CR-IBP와 DeepPoly와 비교해 어떻게 되는가?
• RQ3 GPU 병렬 처리와 희소성 활용이 정확성을 유지하면서 검증 시간을 얼마나 줄이는가?
• RQ4 조기 종료 히وري스틱이 정확성을 훼손하지 않고 강건하게 훈련된 네트워크의 런타임을 상당히 줄일 수 있는가?
• RQ5 GPUPoly는 비결합 연산과 다양한 반올림 모드를 포함한 부동소수점 산술 환경에서도 정확성을 유지하는가?

주요 결과

• GPUPoly는 약 34.5ms 내에 100만 개의 뉴런과 34층을 가진 ResNet34를 검증하여, 정밀한 다각형 검증 분야에서 전례 없는 확장성을 입증합니다.
• PGD로 훈련된 CIFAR10 네트워크에서 GPUPoly는 1,299개의 강건성 성질을 증명하지만, CR-IBP는 잔차 연결을 지원하지 않아 어떤 성질도 증명하지 못합니다.
• DiffAI로 훈련된 네트워크에서 GPUPoly는 CR-IBP보다 420개 더 많은 성질을 증명합니다. 비록 CR-IBP가 이 네트워크에서는 더 빠르지만, 이는 네트워크 자체의 강건성 덕분입니다.
• DiffAI로 훈련된 ResNet34에서 GPUPoly는 DeepPoly 대비 최대 68,000배 빠르며, 일반적으로 훈련된 네트워크에서는 최대 250배 빠릅니다.
• GPUPoly의 런타임 분포는 대부분의 경우 조기 종료 덕분에 강건하게 훈련된 네트워크에서 긴 尾 tail을 보이며, 전체 계산을 수행해야 하는 이상치는 소수에 불과합니다.
• GPUPoly는 부동소수점 산술 환경에서도 정확성을 유지하며, 비결합성과 반올림 행동을 정확히 모델링합니다. 일부 이전의 비정확한 검증기는 이를 충족하지 못합니다.