[논문 리뷰] A Tool for Neural Network Global Robustness Certification and Training

Zhilu Wang, Yixuan Wang외 5명|arXiv (Cornell University)|2022. 08. 15.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 GPU 가속화된, 미분 가능한 프레임워크인 GROCET를 소개한다. 이는 딥 네ural 네트워크의 글로벌 로버스트니 검증을 위한 것이다. 최적화 기반 검증을 기호적 전파와 분할 정복 기법으로 대체함으로써, GROCET는 더 빠르고 확장 가능한 검증을 달성하고, 글로벌 로버스트니를 미분 가능한 정규화 항으로 사용해 엔드 투 엔드 학습을 가능하게 하여 대규모 네트워크에서 로버스트니를 크게 향상시킨다.

ABSTRACT

With the increment of interest in leveraging machine learning technology in safety-critical systems, the robustness of neural networks under external disturbance receives more and more concerns. Global robustness is a robustness property defined on the entire input domain. And a certified globally robust network can ensure its robustness on any possible network input. However, the state-of-the-art global robustness certification algorithm can only certify networks with at most several thousand neurons. In this paper, we propose the GPU-supported global robustness certification framework GROCET, which is more efficient than the previous optimization-based certification approach. Moreover, GROCET provides differentiable global robustness, which is leveraged in the training of globally robust neural networks.

연구 동기 및 목표

• 기존의 대규모 신경망을 위한 글로벌 로버스트니 검증 방법의 확장성과 효율성 한계를 해결하기 위해.
• 기호적 전파를 통해 GPU 가속화를 활용하여 실시간이고 확장 가능한 검증을 가능하게 하기 위해.
• 학습 중 정규화 항으로 사용 가능한, 미분 가능한 글로벌 로버스트니를 제공하기 위해.
• 특히 대규모 아키텍처를 위한 딥 네ural 네트워크의 글로벌 로버스트니를 표준 정규화 기법을 넘어서 향상시키기 위해.

제안 방법

• GROCET는 입력 변동과 출력 변동을 계층별로 기호적 경계로 표현하기 위해 상호 배치된 쌍둥이 네트워크 인코딩(ITNE)을 사용한다.
• 기호적 전파를 적용하여, 입력 변동에 대한 출력 변동 경계의 선형 초과 근사를 계층별로 계산한다.
• 이 프레임워크는 반복적으로 경계를 좁힐 수 있도록 분할 정복 전략을 활용하며, '현재 최고' 결과를 조기에 정지할 수 있도록 한다.
• 기존의 최적화 기반의 MILP-ITNE 방법을 대체하여, 더 빠른 속도와 확장성을 확보하기 위해 미분 가능하고 GPU 병렬 처리가 가능한 알고리즘을 사용한다.
• 글로벌 로버스트니를 학습 손실에 포함시켜 직접적으로 로버스트니를 최적화할 수 있도록 한다.
• 완전 연결, 합성곱, ReLU, 풀링 레이어를 모두 지원하며, 계산 그래프 내에서 덧셈 및 뺄셈 레이어의 지원도 가능하다.

실험 결과

연구 질문

• RQ1 기호적 전파와 분할 정복 기법이 최적화 기반 검증을 대체하여 GPU 가속화와 더 빠른 글로벌 로버스트니 검증을 가능하게 할 수 있는가?
• RQ2 미분 가능한 글로벌 로버스트니가 효과적으로 정규화 항으로 사용되어 신경망의 글로벌 로버스트니를 향상시킬 수 있는가?
• RQ3 GROCET의 성능와 초과 근사의 날카움 정도는 대규모 네트워크에서 MILP-ITNE와 비교해 어떻게 되는가?
• RQ4 GROCET는 10,000개 이상의 뉴런을 가진 네트워크로 확장되며도 실용적인 검증 시간을 유지할 수 있는가?

주요 결과

• 유사한 런타임 조건에서 GROCET는 MILP-ITNE보다 훨씬 날카운 초과 근사를 달성했으며, 테스트된 모델에서 경계의 날카움 정도가 최대 34.1% 향상되었다.
• CIFAR-10의 DNN-5 모델에서, GROCET는 검증 시간을 MILP-ITNE의 1241초에서 1.074초로 단축시켜 1155배의 속도 향상을 달성했다.
• MNIST 모델인 DNN-2에서, GROCET를 사용한 글로벌 로버스트 학습은 테스트 정확도를 95.80%에서 96.88%로 향상시켰으며, 유사한 로버스트니 수준을 유지했다.
• 더 큰 DNN-5 모델에서, GROCET를 사용한 글로벌 로버스트 학습은 표준 L2 정규화 학습 대비 인증된 글로벌 로버스트니를 10배 이상 향상시켰다.
• GROCET는 언제든지 '현재 최고' 결과를 조기에 정지할 수 있어, 전체 최적화가 필요했던 MILP-ITNE보다 더 유연하다.