[논문 리뷰] Differentiable Pruning Method for Neural Networks.

Jaedeok Kim, Chiyoun Park외 2명|arXiv (Cornell University)|2019. 04. 24.

Advanced Neural Network Applications참고 문헌 15인용 수 5

한 줄 요약

이 논문은 FLOPs와 파라미터 수와 같은 이산 스파arsity 메트릭을 기반으로 한 기울기 기반 최적화를 가능하게 하는 가속 가능한 게이트 함수를 사용하여 신경망을 위한 유연한 프루닝 방법을 제안한다. 각 채널 출력에 학습 가능한 게이트를 부착하고 표준 역전파를 통해 미세조정함으로써, 이 방법은 최적의 채널 조합을 자동으로 식별한다. CIFAR-10에서 ResNet-56의 경우 정확도 저하 없이 FLOPs를 50% 감소시킨다.

ABSTRACT

Architecture optimization is a promising technique to find an efficient neural network to meet certain requirements, which is usually a problem of selections. This paper introduces a concept of a trainable gate function and proposes a channel pruning method which finds automatically the optimal combination of channels using a simple gradient descent training procedure. The trainable gate function, which confers a differentiable property to discrete-valued variables, allows us to directly optimize loss functions that include discrete values such as the number of parameters or FLOPs that are generally non-differentiable. Channel pruning can be applied simply by appending trainable gate functions to each intermediate output tensor followed by fine-tuning the overall model, using any gradient-based training methods. Our experiments show that the proposed method can achieve better compression results on various models. For instance, our proposed method compresses ResNet-56 on CIFAR-10 dataset by half in terms of the number of FLOPs without accuracy drop.

연구 동기 및 목표

• 신경망의 채널 수와 같은 이산적인 아키텍처 선택을 최적화하는 데 도전하는 것 — 기존에는 비가속 가능하고 기울기 기반 최적화가 어려운 경우가 많다.
• FLOPs와 파라미터 수와 같은 이산 스파arsity 메트릭의 가속화된 근사치를 사용해 신경망의 엔드 투 엔드 훈련을 가능하게 하는 것.
• 특수한 아키텍처 재설계나 복잡한 탐색 절차 없이도 간단하고 즉시 사용 가능한 채널 프루닝 방법을 개발하는 것.
• 기울기 기반 최적화를 통해 채널 중요도를 최적화함으로써 높은 모델 압축 비율을 달성하면서도 정확도를 유지하는 것.

제안 방법

• 각 채널에 대해 학습 가능한 스칼라 가중치를 할당하는 학습 가능한 게이트 함수를 도입하여 채널 존재 여부를 가속화된 방식으로 제어할 수 있도록 한다.
• 게이트 함수를 각 중간 특징 맵 출력에 적용하여 훈련 도중 어떤 채널을 유지하거나 제거할지 네트워크가 학습할 수 있도록 한다.
• 표준 역전파를 사용해 네트워크 가중치와 게이트 값 모두를 동시에 최적화함으로써, 기울기 하강법을 통해 손실을 최소화하면서 FLOPs와 파라미터 수를 고려할 수 있도록 한다.
• 이산 채널 선택의 가속화된 근사치를 활용하여, 최종 프루닝 결정이 이산적이더라도 연속 기울기를 사용할 수 있도록 한다.
• 게이트 함수를 부착한 전체 모델을 표준 최적화 방법을 사용해 미세조정함으로써 최적의 채널 조합을 식별한다.
• 훈련 후 게이트 값이 임계값 이하인 경우를 0으로 설정하여 해당 채널을 효과적으로 제거함으로써 프루닝을 적용한다.

실험 결과

연구 질문

• RQ1 채널 수와 같은 이산적인 아키텍처 하이퍼파ram터를 기울기 기반 방법으로 최적화할 수 있는가? 이는 비가속 가능한 요소를 가속화함으로써 가능해진다.
• RQ2 학습 가능한 게이트 함수는 정확도 저하를 최소화하면서 채널 프루닝을 위한 엔드 투 엔드 훈련을 얼마나 효과적으로 가능하게 하는가?
• RQ3 제안된 방법은 표준 벤치마크에서 성능 저하 없이 FLOPs와 파라미터 수를 상당히 압축할 수 있는가?
• RQ4 기존 프루닝 기법과 비교했을 때 이 방법은 압축 비율과 정확도 유지 측면에서 어떤가?

주요 결과

• 제안된 방법은 CIFAR-10 데이터셋에서 ResNet-56의 FLOPs를 정확도 저하 없이 50% 감소시킨다.
• 표준 최적화 절차를 사용한 엔드 투 엔드 훈련을 통해 자동이고 효율적인 채널 프루닝을 가능하게 한다.
• 학습 가능한 게이트 함수의 사용으로 FLOPs와 파라미터 수와 같은 비가속 가능한 메트릭의 가속 최적화가 가능해진다.
• 이 방법은 단순하고 일반화 가능하며, 중간 레이어에 게이트 함수를 추가하고 표준 미세조정만으로도 적용할 수 있다.
• 정확도를 유지하면서도 기준 프루닝 기법보다 더 뛰어난 압축 효율성을 달성한다.
• 훈련된 게이트 함수는 부용한 채널을 효과적으로 식별하고 억제하여 압축되면서도 정확도가 높은 모델을 만들어낸다.