[논문 리뷰] Learning to Prune Deep Neural Networks via Layer-wise Optimal Brain Surgeon

Xin Dong, Shangyu Chen외 1명|arXiv (Cornell University)|2017. 05. 22.

Advanced Neural Network Applications인용 수 284

한 줄 요약

tldr: Layer-wise Optimal Brain Surgeon (L-OBS)를 도입하는 계층별 가지치기 방법으로, 이차 도함수를 사용하여 각 계층을 가지치고 최종 오차를 한정하며 가벼운 재훈련만 수행합니다. 여러 아키텍처에 걸쳐 정확도를 유지하면서 높은 압축률을 달성합니다.

ABSTRACT

How to develop slim and accurate deep neural networks has become crucial for real- world applications, especially for those employed in embedded systems. Though previous work along this research line has shown some promising results, most existing methods either fail to significantly compress a well-trained deep network or require a heavy retraining process for the pruned deep network to re-boost its prediction performance. In this paper, we propose a new layer-wise pruning method for deep neural networks. In our proposed method, parameters of each individual layer are pruned independently based on second order derivatives of a layer-wise error function with respect to the corresponding parameters. We prove that the final prediction performance drop after pruning is bounded by a linear combination of the reconstructed errors caused at each layer. Therefore, there is a guarantee that one only needs to perform a light retraining process on the pruned network to resume its original prediction performance. We conduct extensive experiments on benchmark datasets to demonstrate the effectiveness of our pruning method compared with several state-of-the-art baseline methods.

연구 동기 및 목표

• 임베디드 및 실제 환경 배치를 위한 좁고 정확한 네트워크의 필요성에 대한 동기 부여.
• 두 번째 차 정보를 활용하여 각 계층에서 가지치할 매개변수를 식별하는 계층별 가지치기 프레임워크를 제안합니다.
• 전반적인 네트워크 성능 저하가 재구성된 계층별 오차로 의해 한정되도록 보장합니다.
• 헤세안 계산을 각 계층에 집중하고 가지치기 후 가벼운 재훈련 단계를 가능하게 하여 계산 부담을 줄입니다.

제안 방법

• 각 계층의 가지치를 Z^l의 비활성화 전 출력과 계층별 오차 E^l의 테일러 확장을 이용하여 계층별 오차로 모델링합니다.
• 각 계층에 대해 역 Hessian H_l^{-1}를 계산하여 민감도 L_q = (Θ_{l[q]})^2 / (2 [H_l^{-1}]_{qq})를 얻습니다.
• 임의의 임계값 ε을 넘지 않는 한 가지치기 매개변수의 민감도 점수를 가지치되, 도출된 계층별 오차가 임계값을 넘지 않도록 합니다.
• 최종 네트워크 오차에 대한 경계: ε̃^L ≤ 모든 계층의 뒤따르는 계층 노름의 곱의 합에 √δE^l를 곱한 값으로 표현되어, 전반적인 악화를 제어합니다.
• 필터를 벡터화하고 블록 대각 Hessian 구조를 도출하여 컨볼루션 계층에서도 역산을 단순화하는 방법으로 Hessian 기반 가지치를 확장합니다.
• 가지치기와 가벼운 재훈련을 교대로 수행하여 더 높은 압축률을 달성하는 반복 버전을 제공합니다.

실험 결과

연구 질문

• RQ1 계층별 이차 가지치기가 전체 네트워크 재훈련 없이도 높은 압축률과 정확성을 유지할 수 있는가?
• RQ2 계층별 가지치 오차를 어떻게 제어하여 전체 네트워크 성능 저하를 한정할 수 있는가?
• RQ3 깊은 네트워크에서 계층별 Hessian을 효율적으로 계산하고 역적분하는 방법은 무엇인가?: 확장 가능한 가지치기를 가능하게 하는가?
• RQ4 이 접근법이 완전 연결 네트워크를 넘어 컨볼루션 계층과 현대 아키텍처에 일반화되는가?

주요 결과

• L-OBS는 재훈련 전에 여러 모델(예: LeNet 변형, CIFAR-Net, AlexNet, VGG-16, ResNet-50)에서 상당한 정확도 손실 없이 상당한 압축을 달성합니다.
• LeNet-300-100의 경우 L-OBS(단일 단계)는 재오차 3.10%로 7%의 압축을 달성하며, 반복 가지치기는 더 높은 압축과 1.5–1.8%의 재오차를 달성합니다.
• LeNet-5 및 CIFAR-Net의 경우 가지치기 후의 오차를 한 자리 수로 줄이고 경쟁 방법보다 재훈련 반복 횟수를 훨씬 줄입니다.
• AlexNet 및 VGG-16에서 L-OBS는 재훈련이 거의 필요 없거나 최소한으로도 상당한 압축(각각 11%, 7.5%)을 달성하되 정확도에 큰 영향을 주지 않습니다.
• L-OBS는 ResNet-50의 가지치기를 가능하게 하며, 가지치 비율이 45% 이상일 때 Top-5 정확도가 85% 이상을 유지합니다.
• 이 방법은 Net-Trim, DNS, LWC와 같은 기준선 대비 재훈련 부담을 줄이고, 가벼운 재훈련으로 더 높은 압축에 도달하기 위한 반복 가지치를 지원합니다.