[논문 리뷰] Pruning neural networks: is it time to nip it in the bud?

Elliot J. Crowley, Jack Turner외 2명|arXiv (Cornell University)|2018. 10. 10.

Advanced Neural Network Applications참고 문헌 43인용 수 23

한 줄 요약

이 논문은 신경망 양자화의 효능을 도전하며, 더 작은 네트워크를 처음부터 훈련시킨 결과(감소된 네트워크)가, 더 큰 사전 훈련된 모델에서 연결을 제거하여 유도된 양자화된 네트워크보다 일관되게 뛰어난 성능을 보임을 보여준다. 저자들은 양자화된 아키텍처를 처음부터 재훈련할 경우 성능이 상당히 향상됨을 입증하였으며, 감소된 네트워크가 추론 시 더 빠르다는 점을 지적하여, 반복적인 양자화 및 보정을 통한 방법보다 아키텍처 설계를 위한 양자화가 더 효과적일 수 있음을 시사한다.

ABSTRACT

Pruning is a popular method for compressing a neural network: given a large trained network, one alternates between removing connections and fine-tuning; reducing the overall width of the network. However, the efficacy of network pruning has largely evaded scrutiny. In this paper, we examine ResNets and DenseNets obtained through pruning-and-tuning and make two interesting observations: (i) reduced networks---smaller versions of the original network trained from scratch---consistently outperform pruned networks; (ii) if you take the architecture of a pruned network and then train it from scratch it is significantly more competitive. Furthermore, these architectures are easy to approximate: we can prune once and obtain a whole family of new, scalable network architectures that can simply be trained from scratch. Finally, we compare the inference speed of reduced and pruned networks on hardware, and show that reduced networks are significantly faster.

연구 동기 및 목표

• ResNet과 DenseNet에 대해 실질적으로 신경망 양자화의 효과성을 평가하기 위해.
• 양자화된 네트워크와 처음부터 훈련된 더 작은 네트워크(감소된 네트워크)의 성능을 비교하기 위해.
• 양자화된 네트워크의 아키텍처를 처음부터 재훈련했을 때 원래의 양자화된 모델보다 더 나은 성능을 낼 수 있는지 조사하기 위해.
• 감소된 네트워크와 양자화된 네트워크의 하드웨어에서의 추론 속도를 평가하기 위해.
• 양자화를 사용하여 확장 가능하고 효율적인 네트워크 아키텍처를 설계할 수 있는지 탐색하기 위해.

제안 방법

• 기본 비교를 위해 ResNet과 DenseNet의 더 작은 감소된 버전을 처음부터 훈련시키기 위해.
• 큰 사전 훈련된 네트워크에 대해 반복적인 양자화 및 보정을 적용하여 양자화된 모델을 생성하기 위해.
• 양자화된 네트워크의 아키텍처를 취해 처음부터 재훈련하여 성능을 평가하기 위해.
• 양자화된 아키텍처를 바탕으로 확장 가능한 네트워크 아키텍처의 가족을 생성하기 위해.
• 하드웨어에서 감소된 네트워크와 양자화된 네트워크의 추론 속도를 측정하고 비교하기 위해.
• 양자화를 통해 유도된 모델들과 처음부터 직접 훈련된 모델들의 성능 및 효율성 분석하기 위해.

실험 결과

연구 질문

• RQ1 양자화된 네트워크는 감소된 네트워크보다 일관되게 성능이 열 劣한가?
• RQ2 양자화된 네트워크의 아키텍처를 처음부터 재훈련했을 때 원래의 양자화된 모델보다 더 나은 성능을 낼 수 있는가?
• RQ3 실제 하드웨어에서 감소된 네트워크의 추론 속도는 양자화된 네트워크보다 상당히 빠른가?
• RQ4 한 개의 양자화된 아키텍처로 확장 가능하고 효율적인 네트워크 설계의 가족을 생성할 수 있는가?
• RQ5 반복적인 양자화 및 보정 과정은 직접 처음부터 훈련시키는 것보다 정확도가 낮고 속도가 느린 모델을 도출하는가?

주요 결과

• 감소된 네트워크는 처음부터 훈련시켰을 때 정확도 면에서 일관되게 양자화된 네트워크를 뛰어넘는다.
• 양자화된 네트워크의 아키텍처를 처음부터 재훈련하면 원래의 양자화된 모델보다 상당히 더 경쟁력 있는 성능을 낸다.
• 양자화된 아키텍처는 단순한 재훈련을 통해 확장 가능한 네트워크 아키텍처의 가족을 생성하는 데 사용될 수 있다.
• 감소된 네트워크는 하드웨어에서 양자화된 네트워크보다 상당히 빠른 추론 속도를 달성한다.
• ResNet과 DenseNet을 포함한 다양한 네트워크 유형 간에 양자화된 네트워크와 감소된 네트워크 간의 성능 격차는 일관되게 유지된다.
• 반복적인 양자화 및 보정 과정은 모델 압축에 가장 효과적인 방법은 아니며, 직접 작은 아키텍처를 훈련시키는 것이 훨씬 우수한 결과를 낳는다.