[논문 리뷰] Learning Sparse Neural Networks via Sensitivity-Driven Regularization

Enzo Tartaglione, Skjalg Lepsøy외 2명|arXiv (Cornell University)|2018. 10. 28.

Stochastic Gradient Optimization Techniques참고 문헌 17인용 수 6

한 줄 요약

이 논문은 백프로파게이션 자코비안에서 유도된 새로운 정규화 항을 통해, 네트워크 출력에 미치는 영향이 최소인 파라미터(즉, 덜 민감한 파라미터)의 크기를 점진적으로 줄임으로써 딥 네ural 네트워크를 스파arsed하는 민감도 기반 정규화 방법을 제안한다. 이 방법은 기존 최고 수준의 방법보다 최대 두 배 높은 스파arsity를 달성하면서도 테스트 정확도는 유사하거나 향상시켜, MNIST 및 ImageNet 벤치마크에서 L2 및 L1 정규화와 같은 표준 정규화 기법들을 능가한다.

ABSTRACT

The ever-increasing number of parameters in deep neural networks poses challenges for memory-limited applications. Regularize-and-prune methods aim at meeting these challenges by sparsifying the network weights. In this context we quantify the output sensitivity to the parameters (i.e. their relevance to the network output) and introduce a regularization term that gradually lowers the absolute value of parameters with low sensitivity. Thus, a very large fraction of the parameters approach zero and are eventually set to zero by simple thresholding. Our method surpasses most of the recent techniques both in terms of sparsity and error rates. In some cases, the method reaches twice the sparsity obtained by other techniques at equal error rates.

연구 동기 및 목표

• 메모리 및 대역폭이 제한된 장치에 대규모 과다 파rameter화된 딥 네이처럴 네트워크를 구현하는 데 도전하는 것.
• 특히 대부분의 파라미터가 존재하는 완전 연결 층에서 모델 성능을 저하시키지 않으면서 네트워크의 스파arsity를 향상시키는 것.
• 중요한 파라미터를 유지하면서 덜 민감한 파라미터만 선택적으로 제거하는 정규화 방법을 개발하는 것.
• 민감도 기반 정규화의 영향을 모델 일반화 및 스파arsity-정확도 트레이드오프에 대해 평가하는 것.

제안 방법

• 이 방법은 각 파라미터에 대한 네트워크 출력 민감도를 기반으로 파라미터를 페널티 부여하는 정규화 항을 도입한다. 이 민감도는 파라미터에 대한 출력의 자코비안으로 계산된다.
• 민감도는 백프로파게이션 기울기에서 유도되며, 추가적인 오버헤드가 최소한이면서도 효율적으로 계산할 수 있다.
• 낮은 민감도를 가지는 파라미터는 정규화 항을 통해 점차 0으로 유도되며, 이후 임계값 설정을 통해 0으로 설정할 수 있다.
• 두 가지 형태가 사용된다: 개별 파라미터 기반 민감도(specific sensitivity)와 전역 평균 기반 민감도(unspecific sensitivity), 이 두 가지 모두 훈련 중 손실 함수에 통합된다.
• 정규화-프루닝 파이프라인을 적용한다: 민감도 기반 정규화로 훈련한 후, 임계값 설정을 통해 스파arsity를 달성한다.
• 이 방법은 일반적이며, 아키텍처 제약 없이 모든 미분 가능한 신경망 아키텍처에 적용 가능하다.

실험 결과

연구 질문

• RQ1 민감도 기반 정규화는 정확도 저하 없이 덜 중요한 파라미터를 효과적으로 식별하고 제거할 수 있는가?
• RQ2 스파arsity 및 일반화 측면에서 민감도 기반 정규화는 기존의 L2 및 L1 정규화와 비교해 어떻게 성능을 냈는가?
• RQ3 유사하거나 낮은 오차율에서 기존 최고 수준의 기법보다 더 높은 스파arsity를 달성할 수 있는가?
• RQ4 개별 민감도와 비개별 민감도 형태의 사용이 스파arsity 및 성능에 어떤 영향을 미치는가?
• RQ5 민감도 기반 정규화는 기존 정규화 기법을 넘어서 모델 일반화를 향상시킬 수 있는가?

주요 결과

• MNIST에서 비특이 민감도 형태를 사용한 결과, 31.34%의 스파arsity와 0.97%의 Top-1 오차를 달성하여, 스파arsity-정확도 트레이드오프 측면에서 다른 방법들을 능가했다.
• VGG-16 기반 ImageNet에서, 이 방법은 스파arsity 수준이 유사할 때 Top-1 오차를 Han et al.의 10.88%에서 9.80%로 감소시켜 더 나은 일반화 성능을 보였다.
• 민감도 기반 정규화기는 훈련 중 L2 정규화보다 낮은 테스트 손실을 기록하여 더 나은 일반화 성능을 나타냈다.
• 이 방법은 성능을 유지하면서도 MNIST에서 네트워크 복잡도를 10배 감소시켜 강력한 스파arsity 능력을 입증했다.
• VGG-16과 같은 깊은 네트워크에서는 개별 민감도 형태(S^spec)가 비특이 형태(29.29%)보다 더 높은 스파arsity(30.92%)를 달성했다.
• 민감도 계산은 백프로파게이션의 부산물로 이루어지므로, 계산 오버헤드가 최소한이었다.