[논문 리뷰] Directional Pruning of Deep Neural Networks

Shih-Kang Chao, Zhanyu Wang외 2명|arXiv (Cornell University)|2020. 06. 16.

Advanced Neural Network Applications참고 문헌 56인용 수 12

한 줄 요약

이 논문은 확률적 경사하강법(SGD) 해에서 헤시안의 거의 영인자에 대응하는 고유벡터의 스칼라 곱으로 정의된 평평한 최소값 골짜기 내에서 희박한 최소화자를 식별하는 새로운 방법인 방향성 프루닝을 제안한다. 이는 재학습 없이도 최대 92%의 높은 희박도를 달성할 수 있게 하며, ResNet50를 사용한 ImageNet에서 최신 기술 수준의 성능을 달성한다. 이는 SGD에 비해 최소한의 계산 오버헤드를 유발한다.

ABSTRACT

In the light of the fact that the stochastic gradient descent (SGD) often finds a flat minimum valley in the training loss, we propose a novel directional pruning method which searches for a sparse minimizer in or close to that flat region. The proposed pruning method does not require retraining or the expert knowledge on the sparsity level. To overcome the computational formidability of estimating the flat directions, we propose to use a carefully tuned $\ell_1$ proximal gradient algorithm which can provably achieve the directional pruning with a small learning rate after sufficient training. The empirical results demonstrate the promising results of our solution in highly sparse regime (92% sparsity) among many existing pruning methods on the ResNet50 with the ImageNet, while using only a slightly higher wall time and memory footprint than the SGD. Using the VGG16 and the wide ResNet 28x10 on the CIFAR-10 and CIFAR-100, we demonstrate that our solution reaches the same minima valley as the SGD, and the minima found by our solution and the SGD do not deviate in directions that impact the training loss. The code that reproduces the results of this paper is available at https://github.com/donlan2710/gRDA-Optimizer/tree/master/directional_pruning.

연구 동기 및 목표

• 재학습이 필요 없거나 전문가가 정의한 희박도 임계값이 필요 없는 딥 네ural 웹워크의 프루닝 문제를 해결하기 위해.
• 학습 손실에 미치는 영향을 최소화하면서 손실 곡면의 평평한 최소값 골짜기 내에 위치한 희박한 모델을 식별하기 위해.
• 특히 헤시안의 작은 고유값과 관련된 평평한 방향을 고려한 손실 함수의 국소 기하학을 활용하는 프루닝 방법을 개발하기 위해.
• 특히 자원이 제한된 배포 환경에서 모델 정확도를 유지하면서도 높은 희박도(예: 92%)를 달성하기 위해.
• 재학습을 피하고 수학적 수렴 성질을 보장하는 수정된 최적화 기법을 사용함으로써 계산 오버헤드를 최소화하기 위해.

제안 방법

• 프루닝을 평평한 방향의 부분공간 내에서의 변형으로 설정하며, 이 부분공간은 SGD 해에서 헤시안의 거의 영인자에 대응하는 고유벡터의 스칼라 곱으로 정의된다.
• 손실을 유지하면서도 매개변수를 줄이는 방향으로 작용하는 ℓ₁-정규화 항을 포함한 프록시 그래디언트 알고리즘을 사용하여 반복적으로 매개변수를 축소한다. 이는 변형이 평평한 영역 내에 유지되도록 보장한다.
• 핵심 단계는 훈련된 가중치의 부호 벡터를 평평한 부분공간에 투영하여, 손실 증가를 최소화하면서도 프루닝을 이끄는 방향 벡터를 도출하는 것이다.
• 이 알고리즘은 소프트 스위칭과 작은 학습률을 포함한 수정된 최적화기 gRDA를 통해 구현되며, 이는 평평한 골짜기 내에서 희박한 해로의 수렴을 보장한다.
• 프루닝 방향이 평평한 부분공간 내에 위치하므로 재학습 없이도 손실이 프루닝 과정 동안 안정을 유지한다.
• 이론적으로 기반을 두고 있으며, 변형 방향은 가중치의 부호 벡터와의 ℓ₂ 거리를 최소화하도록 선택되어, 안전하게 제거할 수 있는 매개변수의 수를 최대화한다.

실험 결과

연구 질문

• RQ1 재학습 없이도 손실 곡면의 평평한 최소값 골짜기 내에 위치한 희박한 모델을 식별할 수 있는가?
• RQ2 희박화 과정 중 손실 증가를 최소화하는 최적의 프루닝 방향은 무엇인가?
• RQ3 ResNet50를 사용한 ImageNet에서 92%의 높은 희박도를 달성하면서도 모델 정확도를 유지할 수 있는가?
• RQ4 제안된 프루닝 방법의 계산 비용은 표준 SGD 대비 월 타임과 메모리 사용 측면에서 어떻게 비교되는가?
• RQ5 프루닝된 모델은 SGD와 같은 최소값에 도달하는가? 그리고 손실과 일반화 오차는 유지되는가?

주요 결과

• 제안된 방향성 프루닝 방법은 ResNet50에서 ImageNet을 사용할 때 테스트 정확도가 전체 모델과 유사한 상태에서 92%의 희박도를 달성하며, 특히 매우 희박한 영역에서 기존의 프루닝 방법들을 능가한다.
• CIFAR-10을 사용한 VGG16과 CIFAR-100을 사용한 WRN28x10에서, 이 방법은 SGD와 동일한 최소값에 도달하며 손실이나 테스트 오차에 유의미한 편차가 없다.
• 이 방법에서 사용된 gRDA 최적화기는 월 타임에서 약 15% 정도 느린 정도의 증가와 최소한의 추가 메모리 사용을 유발하며, peak GPU 메모리 소비는 gRDA와 SGD 사이에서 표준편차 이내로 차이가 나지 않는다.
• 실증 결과에 따르면, 프루닝된 매개변수들이 평평한 부분공간에 따라 정렬된 방향으로 제거되었으며, 이는 손실 증가를 최소화함을 보여주는 Hessian의 영공간에 부호 벡터를 투영함으로써 확인되었다.
• 실험 결과에 따르면, 프루닝된 모델은 일반화 성능을 유지하며, 다양한 아키텍처와 데이터셋에서 gRDA와 SGD의 테스트 오차 곡선이 거의 완전히 겹친다.
• 코드는 공개되어 있어 재현성과 방향성 프루닝 접근법의 추가 벤치마킹을 가능하게 한다.