[논문 리뷰] Pruning and Slicing Neural Networks using Formal Verification

Ori Lahav, Guy Katz|arXiv (Cornell University)|2021. 05. 28.

Adversarial Robustness in Machine Learning참고 문헌 40인용 수 4

한 줄 요약

이 논문은 출력 동치성 또는 유한 오차를 유지하면서 크기를 줄이기 위해 심층 신경망(DNN)의 구조를 정규화 및 분할하는 형식적 검증 기반 프레임워크를 제안한다. SMT 기반 검증을 활용하여 단계별로 중복되는 뉴런—단계 중복, k-앞서는 중복, 결과 유지형 중복 유형—을 식별하고, 입력 공간을 분할하여 네트워크 분할을 수행함으로써 최대 71%의 DNN 크기 감소를 달성하면서도 정당한 정확성 보장을 확보한다.

ABSTRACT

Deep neural networks (DNNs) play an increasingly important role in various computer systems. In order to create these networks, engineers typically specify a desired topology, and then use an automated training algorithm to select the network's weights. While training algorithms have been studied extensively and are well understood, the selection of topology remains a form of art, and can often result in networks that are unnecessarily large - and consequently are incompatible with end devices that have limited memory, battery or computational power. Here, we propose to address this challenge by harnessing recent advances in DNN verification. We present a framework and a methodology for discovering redundancies in DNNs - i.e., for finding neurons that are not needed, and can be removed in order to reduce the size of the DNN. By using sound verification techniques, we can formally guarantee that our simplified network is equivalent to the original, either completely, or up to a prescribed tolerance. Further, we show how to combine our technique with slicing, which results in a family of very small DNNs, which are together equivalent to the original. Our approach can produce DNNs that are significantly smaller than the original, rendering them suitable for deployment on additional kinds of systems, and even more amenable to subsequent formal verification. We provide a proof-of-concept implementation of our approach, and use it to evaluate our techniques on several real-world DNNs.

연구 동기 및 목표

• 히우리스틱 아키텍처 선택으로 인해 DNN가 불필요하게 크기 때문에 자원 제약이 있는 장치에 배포가 어려운 문제를 해결하기 위해.
• 히우리스틱 정제 방법에 의존하는 대신 검증 기술을 사용하여 뉴런 제거 시 형식적 보장을 제공하기 위해.
• 사라진 뉴런을 넘어서 단계 중복, k-앞서는 중복, 결과 유지형 중복 뉴런까지 포함한 중복성 탐지 기능을 확장하기 위해.
• 정제와 입력 도메인 분할을 통합하여 더 빠른 추론을 위한 하위 네트워크 특화를 가능하게 하기 위해.
• 정확도를 사전에 정의된 허용 오차 내에서 유지하면서도 확장 가능하고 검증 가능한 DNN 압축을 실현하기 위해.

제안 방법

• 특정 뉴런 제거 시 출력이 허용 오차 범위 내에서 유지되는지 확인하기 위해 Marabou SMT 기반 DNN 검증기와 함께 형식적 검증을 수행한다.
• 사망 뉴런, 단계 중복 뉴런, k-앞서는 중복 뉴런, 결과 유지형 중복 뉴런의 네 가지 유형의 중복성을 정의하고 탐지한다.
• 입력 도메인 분할을 통해 입력 공간을 하위 도메인으로 분할하여 각 하위 네트워크를 별도로 단순화한다.
• 형식적 검증 이전에 시뮬레이션을 사용하여 후보 뉴런을 걸러내어 검증 쿼리 수를 줄인다.
• 정제와 분할을 결합하여 특정 입력 하위 도메인에 대해 유효한 작은 전문화된 DNN의 집합을 생성한다.
• 각 하위 도메인에 대해 결과 유지 행동을 보장하기 위해 최종 검증 쿼리 한 번으로 뉴런 제거의 정확성을 검증한다.

실험 결과

연구 질문

• RQ1 형식적 검증을 사용하여 출력뿐만 아니라 네트워크 행동에 기여하는 데 있어 중복되는 뉴런을 식별하고 제거할 수 있는가?
• RQ2 사망 뉴런을 넘어서, 출력 편차가 유한한 수준으로만 증가하는 뉴런 제거에 대해 중복성 탐지 기능을 확장할 수 있는가?
• RQ3 입력 도메인 분할을 통해 전체 네트워크에서는 드러나지 않는 추가 중복성을 발견할 수 있는가?
• RQ4 정제와 분할의 조합이 DNN 크기를 크게 줄일 수 있으며, 동시에 출력 정밀도 유지에 대한 형식적 보장을 확보할 수 있는가?
• RQ5 입력 하위 도메인의 복잡성이 정제 가능도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 공중 충돌 방지 네트워크에서 전체 DNN 크기를 최대 71%까지 감소시키면서도 사전 정의된 허용 오차 내에서 출력 동치성을 유지했다.
• 입력 하위 도메인의 75%에서 추가로 12.3%의 전방 중복 및 결과 유지형 중복 뉴런을 성공적으로 식별하고 제거했다.
• 일부 하위 도메인에서는 단순화 파이프라인으로 인해 네트워크가 선형 변환으로 단순화되어 완전한 선형화가 이루어졌다.
• 실패한 하위 도메인에서도 후보 뉴런 수가 성공한 경우와 유사하여 일관된 후보 품질을 보였다.
• 이전 연구가 ReLU 네트워크에 국한된 것과 달리, 특정 활성화 함수에 의존하지 않고도 상당한 압축을 달성했다.
• 기반 검증 엔진에 관계없이 프레임워크가 적용 가능하며, SMT, 선형 프로그래밍, 추상 해석 기반의 모든 DNN 검증 도구와 통합 가능하다.