[논문 리뷰] Structured Deep Neural Network Pruning by Varying Regularization Parameters.

Huan Wang, Qiming Zhang외 2명|arXiv (Cornell University)|2018. 04. 25.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 각 가중치의 중요도에 따라 동적으로 다른 정규화 파rameter를 할당하는 구조적 딥 네ural 네트워크 프루닝 방법을 제안한다. 이는 더 효과적인 파rameter 제거를 가능하게 하며, 정규화를 가중치별로 조정함으로써 AlexNet과 VGG-16에서 4배의 속도 향상을 달성하고 정확도 손실을 최소화하였으며, ResNet-50에서는 2배의 가속화를 이룩했고, 상위 5개 정확도 손실이 0.1%에 불과했다.

ABSTRACT

Convolutional Neural Networks (CNN's) are restricted by their massive computation and high storage. Parameter pruning is a promising approach for CNN compression and acceleration, which aims at eliminating redundant model parameters with tolerable performance loss. Despite its effectiveness, existing regularization-based parameter pruning methods usually assign a fixed regularization parameter to all weights, which neglects the fact that different weights may have different importance to CNN. To solve this problem, we propose a theoretically sound regularization-based pruning method to incrementally assign different regularization parameters to different weights based on their importance to the network. On AlexNet and VGG-16, our method can achieve 4x theoretical speedup with similar accuracies compared with the baselines. For ResNet-50, the proposed method also achieves 2x acceleration and only suffers 0.1% top-5 accuracy loss.

연구 동기 및 목표

• 기존 프루닝 방법에서 고정된 정규화 파rameter의 한계를 해결하기 위해, 깊이 있는 네트워크 내에서 가중치 중요도의 다양성을 반영하지 못하는 문제를 해결한다.
• 각 가중치가 네트워크 성능에 기여하는 바에 따라 점진적으로 정규화 값을 할당하는 이론적으로 타당한 프루닝 접근법을 개발한다.
• 다양한 CNN 아키텍처, 예를 들어 AlexNet, VGG-16, ResNet-50에서 높은 정확도를 유지하면서도 상당한 모델 압축과 가속화를 달성한다.
• 모델의 구조와 계산 효율성을 유지하면서도 구조적 프루닝을 가능하게 한다.

제안 방법

• 이 방법은 가중치의 중요도에 따라 정규화 파arameter를 할당하는 동적 정규화 체계를 도입한다.
• 중요도는 네트워크의 손실 표면과 연관된 가중치 민감도를 이론적으로 분석함으로써 추정되며, 이는 핵심 파rameter의 우선순위를 정하는 데 기여한다.
• 정규화 파arameter는 훈련 도중 점진적으로 조정되며, 중요도가 높은 가중치의 유지와 부족한 가중치의 프루닝을 유도한다.
• 이 방법은 계층별 연결성을 유지하고 계산 효율성을 보존하기 위해 구조적 프루닝을 사용하며, 비구조적 희소성은 피한다.
• 알고리즘은 표준 백프로파게이션과 최적화와 통합되어 적응형 정규화를 갖춘 엔드 투 엔드 훈련을 가능하게 한다.
• 정규화 할당을 안내하기 위해 크기 기반 및 기울기 기반 중요도 추정을 모두 지원한다.

실험 결과

연구 질문

• RQ1 가중치별로 정규화 파arameter를 다양하게 조정하는 것이 고정된 정규화와 비교해 CNN에서 프루닝 효율성을 어떻게 향상시키는가?
• RQ2 중요도 인식 정규화는 다양한 아키텍처에서 모델 정확도와 추론 속도에 어떤 영향을 미치는가?
• RQ3 동적 정규화 할당은 높은 압축률을 달성하면서도 정확도 손실을 최소화하는 구조적 프루닝을 가능하게 하는가?
• RQ4 성능 유지를 유지하면서도 더 깊은 네트워크인 ResNet-50에서 이 방법은 어떻게 확장되는가?
• RQ5 제안된 동적 정규화 체계 하에서 프루닝 비율, 가속도 향상, 정확도 손실 간의 상충 관계는 어떠한가?

주요 결과

• 제안된 방법은 AlexNet과 VGG-16에서 기존 방법과 유사한 정확도를 유지하면서 이론적으로 4배의 속도 향상을 달성한다.
• ResNet-50에서는 상위 5개 정확도 손실이 0.1%에 불과하여 2배의 가속화를 달성했으며, 이는 뛰어난 일반화 능력을 보여준다.
• 동적 정규화 접근법은 정확도 손실을 최소화하면서도 고정 파arameter 방법보다 훨씬 뛰어난 성능을 발휘한다.
• 이 방법은 계산 효율성과 모델 구조를 유지하는 구조적 프루닝을 가능하게 한다.
• 중요도 기반 정규화 할당은 성능 저하 없이 부족한 파arameter를 더 효과적으로 제거한다.
• 이 방법은 AlexNet, VGG-16, ResNet-50와 같은 다양한 CNN 아키텍처에서 확장 가능하며, 더 깊은 모델에서도 효과적이다.