[논문 리뷰] Scaling Up Exact Neural Network Compression by ReLU Stability

Thiago Serra, Yu, Xin외 2명|arXiv (Cornell University)|2021. 02. 15.

Neural Networks and Applications참고 문헌 92인용 수 4

한 줄 요약

이 논문은 정확한 신경망 압축을 가속화하기 위해 단일 혼합정수선형계획문제(MILP)를 풀어 입력 도메인 전역에서 안정된(선형적) 행동을 보이는 모든 ReLU 뉴런을 식별하는 새로운 방법인 ISA(안정적 활성화 식별)를 제안한다. 이 방법은 CIFAR-10에서 이전 최고 성능 방법 대비 중앙값 183배의 속도 향상을 달성하며, 깊이(5×100)와 넓이(2×800)가 증가한 네트워크의 정확한 압축을 가능하게 하고, 정확도를 유지하면서 최대 56%의 연결을 제거한다. ℓ1 정규화 조건 하에서 성능을 유지한다.

ABSTRACT

We can compress a rectifier network while exactly preserving its underlying functionality with respect to a given input domain if some of its neurons are stable. However, current approaches to determine the stability of neurons with Rectified Linear Unit (ReLU) activations require solving or finding a good approximation to multiple discrete optimization problems. In this work, we introduce an algorithm based on solving a single optimization problem to identify all stable neurons. Our approach is on median 183 times faster than the state-of-art method on CIFAR-10, which allows us to explore exact compression on deeper (5 x 100) and wider (2 x 800) networks within minutes. For classifiers trained under an amount of L1 regularization that does not worsen accuracy, we can remove up to 56% of the connections on the CIFAR-10 dataset. The code is available at the following link, https://github.com/yuxwind/ExactCompression.

연구 동기 및 목표

• 정확한 신경망 압축에서 발생하는 확장성 문제를 해결하기 위해, 모든 입력에 대해 각 ReLU 뉴런의 안정성 검증이 필요하다는 점을 다루기 위함.
• 정확한 압축을 위해 안정된 뉴런(출력이 항상 0이거나 전활성화 값)을 식별하는 데 드는 계산 비용을 줄이기 위함.
• CIFAR-10 및 MNIST와 같은 데이터셋에서 깊이(예: 5×100)와 넓이(예: 2×800)가 증가한 네트워크의 실용적인 정확한 압축을 가능하게 하기 위함.
• 비디오 처리기(GPU) 기반 사전 처리 단계를 개발하여 비안정 뉴런을 조기에 걸러내어 전체 효율성을 향상시키기 위함.
• LEO++라는 새로운 압축 알고리즘을 제안하고 검증하여, 뉴런 단위가 아닌 층 단위로 한 번만 압축을 수행함으로써 확장성을 향상시키기 위함.

제안 방법

• 피드포워드 네트워크 내 모든 ReLU 뉴런의 안정성 검증을 단일 혼합정수선형계획문제(MILP)로 공식화하는 ISA를 제안.
• 학습 세트에 대해 안정되지 않은 뉴런을 식별하기 위해 GPU 기반 사전 처리 단계를 활용하여 MILP 검증이 필요한 뉴런 수를 감소시킴.
• 안정된 뉴런을 활용해 층 단위로 손실 없는 압축을 수행하는 새로운 압축 알고리즘인 LEO++를 도입.
• 입력 도메인 제약 조건(예: 데이터 정규화 및 배치 정규화 레이어)을 처리하기 위해 입력 범위를 적절히 조정함으로써 MILP 공식화를 보완.
• 전활성화 출력과 ReLU 행동을 기반으로, 뉴런 출력이 입력에 대해 항상 0이거나 선형적인 선형 영역를 정의함으로써 도메인 제약 조건 하에서 정확한 등가성 확보.
• 하이브리드 전략을 활용: 사전 처리를 통해 비안정 뉴런을 제거한 후, 남은 후보자들에게만 MILP를 적용하여 안정성 검증 수행.

실험 결과

연구 질문

• RQ1 피드포워드 네트워크 내 모든 ReLU 뉴런의 안정성 검증을 뉴런 단위로 별도로 풀지 않고, 단일 MILP 공식화로 수행할 수 있는가?
• RQ2 특히 더 깊고 넓은 네트워크에서, 뉴런 단위가 아닌 단일 MILP 문제를 풀어 정확한 압축 속도를 얼마나 빠르게 만들 수 있는가?
• RQ3 이러한 방법을 통해 깊이(예: 5×100) 및 넓이(예: 2×800)가 증가한 네트워크로 정확한 압축을 얼마나 잘 스케일링할 수 있는가?
• RQ4 GPU 기반 사전 처리 단계가 MILP 검증이 필요한 뉴런 수를 얼마나 효과적으로 줄이는가?
• RQ5 LEO++는 뉴런 단위의 MILP 검증 대비 상당히 낮은 계산 비용으로 동일한 압축 성능를 달성할 수 있는가?

주요 결과

• 제안된 ISA 알고리즘은 CIFAR-10 데이터셋에서 이전 최고 성능 방법 대비 중앙값 183배의 속도 향상을 달성한다. 특히 더 큰 네트워크에서는 더 큰 성과를 기록한다.
• CIFAR-10에서 이 방법을 통해 2×800 네트워크의 정확한 압축이 몇 분 내로 수행되며, ℓ1 정규화 조건 하에서 최대 56%의 연결 제거가 가능하면서 정확도를 유지한다.
• ℓ1 정규화를 사용해 훈련한 2×100 MNIST 분류기의 경우, 정확도 저하 없이 약 20%의 뉴런과 40%의 연결을 정확하게 제거할 수 있다.
• GPU 사전 처리 단계만으로도 비안정 뉴런을 MILP 풀기 이전에 걸러내어 중앙값 3.2배의 속도 향상을 달성한다.
• LEO++는 안정된 뉴런당 하나의 MILP 해법에서 층 단위로 하나의 해법으로 전환함으로써, MILP 해법 수를 크게 줄여 확장성을 크게 향상시키고 깊이 및 넓이가 증가한 네트워크의 실용적 압축을 가능하게 한다.
• LeNet 기반의 CIFAR-10 모델에서 안정적으로 비활성화된 뉴런의 최대 11.86%를 정확히 0으로 마스킹할 수 있으며, 이는 정확도 손실 없이 추가적인 손실 있는 희소화와도 호환된다.