[논문 리뷰] Verification of Neural Networks: Enhancing Scalability through Pruning

Dario Guidotti, Francesco Leofante외 2명|arXiv (Cornell University)|2020. 03. 17.

Adversarial Robustness in Machine Learning참고 문헌 18인용 수 6

한 줄 요약

이 논문은 뉴런 및 가중치 프루닝을 사용하는 학습 파이프라인을 제안하여 딥 뉴럴 네트워크(DNN)의 공식 검증의 확장성을 향상시킨다. 정확도와 강건성을 유지하면서 네트워크 복잡성을 줄임으로써, Marabou, ERAN, MIPVerify와 같은 최신 검증 도구들이 이전에는 해결이 어려웠던 네트워크를 10분 이내 타임아웃 조건에서 검증할 수 있게 되었으며, 뉴런 프루닝이 가중치 프루닝보다 훨씬 효과적인 것으로 나타났다.

ABSTRACT

Verification of deep neural networks has witnessed a recent surge of interest, fueled by success stories in diverse domains and by abreast concerns about safety and security in envisaged applications. Complexity and sheer size of such networks are challenging for automated formal verification techniques which, on the other hand, could ease the adoption of deep networks in safety- and security-critical contexts. In this paper we focus on enabling state-of-the-art verification tools to deal with neural networks of some practical interest. We propose a new training pipeline based on network pruning with the goal of striking a balance between maintaining accuracy and robustness while making the resulting networks amenable to formal analysis. The results of our experiments with a portfolio of pruning algorithms and verification tools show that our approach is successful for the kind of networks we consider and for some combinations of pruning and verification techniques, thus bringing deep neural networks closer to the reach of formally-grounded methods.

연구 동기 및 목표

• 안전 및 보안 중심의 애플리케이션에 적용되는 데 제약을 주는 딥 뉴럴 네트워크(DNN)의 공식 검증에서의 확장성 문제를 해결하기 위함.
• 네트워크 프루닝이 정확도나 강건성을 훼손하지 않으면서 DNN의 복잡성을 줄여 공식 검증에 적합하게 만들 수 있는지 조사하기 위함.
• 다양한 검증 도구를 대상으로 뉴런 프루닝과 가중치 프루닝의 성능 향상 효과를 평가하기 위함.
• 프루닝 기법을 통합하여 공식 분석에 적합한 네트워크를 생성할 수 있는 실용적인 학습 파이프라인을 구축하기 위함.

제안 방법

• 저자들은 MNIST 및 Fashion-MNIST 데이터셋에 대해 훈련된 완전 연결 DNN에 대해 뉴런 프루닝과 가중치 프루닝을 적용하는 학습 파이프라인을 도입한다.
• 뉴런 프루닝은 전체 뉴런과 그 연결을 제거하는 반면, 가중치 프루닝은 임계값 이하의 개별 가중치를 0으로 설정하여 더 흐린, 단순한 네트워크를 만든다. 두 방법 모두 더 흐린, 단순한 네트워크를 만드는 것을 목표로 한다.
• 모델 정확도와 강건성을 프루닝 후 유지하기 위해, 프루닝을 수정된 훈련 과정과 통합한다.
• 검증은 Marabou(SMT 기반), ERAN(MILP 및 초과 근사), MIPVerify(MILP 컴파일)를 포함한 도구 포트폴리오를 통해 수행되며, 모두 적대적 변형에 대한 강건성을 검증한다.
• 프루닝이 검증 시간과 성공률에 미치는 영향을 분석하기 위해, 동일한 검증 쿼리 조건에서 기준, 흐린, 프루닝된 네트워크를 비교한다.
• 성능 분석에는 Gurobi의 MILP 해결 행동을 로깅하여, 흐림 정도와 정수 변수 및 제약 조건 수의 감소를 연관시키는 것을 포함한다.

실험 결과

연구 질문

• RQ1 네트워크 프루닝 기법이 딥 뉴럴 네트워크의 공식 검증 도구의 확장성 향상에 기여할 수 있는가?
• RQ2 뉴런 프루닝과 가중치 프루닝은 검증 복잡성 감소 능력에서 어떻게 비교되는가?
• RQ3 프루닝된 네트워크는 실용적인 시간 제한 내에서 검증 가능해지면서 정확도와 강건성을 어느 정도 유지할 수 있는가?
• RQ4 다른 검증 도구들(SMT 기반 대비 MILP 기반)은 프루닝에 의해 유도된 흐림 정도에 대해 서로 다른 반응을 보이는가?
• RQ5 프루닝으로 인해 감소한 정수 변수 및 제약 조건 수는 직접적으로 향상된 검증 성능과 연관될 수 있는가?

주요 결과

• 프루닝 없이, 약 5만 개의 연결과 896개의 뉴런을 가진 완전 연결 DNN의 검증은 항상 10분 이내 CPU 시간 제한에 도달하여 실패했다.
• 뉴런 프루닝은 가중치 프루닝보다 훨씬 뛰어난 성능을 보였으며, 특정 프루닝 파rameter 조건에서 모든 검증 도구가 모든 네트워크 인스턴스를 타임아웃 조건 내에서 검증할 수 있었다.
• 가중치 프루닝은 높은 프루닝 정도(예: 90%의 가중치 제거)에서만 성능 향상을 보였으며, ERAN(완전 및 비완전)만이 상당한 이점을 얻었다.
• ERAN-비완전은 가중치 프루닝된 네트워크에서 뉴런 프루닝된 네트워크보다 더 빠른 검증을 보였으며, 속도 향상은 프루닝된 가중치 수에 비례했다.
• MIPVerify와 ERAN은 0인 가중치 연결을 활용하여 MILP 문제를 단순화했으며, 뉴런 프루닝 및 흐린 네트워크에서 정수 변수 수를 원래 값의 1/4 이하로 줄였다.
• 로그 분석을 통해 뉴런 프루닝은 Gurobi의 MILP 문제에서 정수 변수 수를 가중치 프루닝된 네트워크보다 75% 이상 감소시켰으며, 이는 성능 향상의 이유를 설명한다.