[논문 리뷰] Pruning and Quantization for Deep Neural Network Acceleration: A Survey

Tailin Liang, John Glossner외 3명|arXiv (Cornell University)|2021. 01. 24.

Advanced Neural Network Applications참고 문헌 156인용 수 50

한 줄 요약

본 고찰은 딥 뉴럴 네트워크의 가속화를 위한 가지치기(pruning) 및 양자화(quantization) 기법을 검토하고, 정적/동적 가지치기를 비교하며, 프레임워크 간 정확도 결과를 상세히 제시한다.

ABSTRACT

Deep neural networks have been applied in many applications exhibiting extraordinary abilities in the field of computer vision. However, complex network architectures challenge efficient real-time deployment and require significant computation resources and energy costs. These challenges can be overcome through optimizations such as network compression. Network compression can often be realized with little loss of accuracy. In some cases accuracy may even improve. This paper provides a survey on two types of network compression: pruning and quantization. Pruning can be categorized as static if it is performed offline or dynamic if it is performed at run-time. We compare pruning techniques and describe criteria used to remove redundant computations. We discuss trade-offs in element-wise, channel-wise, shape-wise, filter-wise, layer-wise and even network-wise pruning. Quantization reduces computations by reducing the precision of the datatype. Weights, biases, and activations may be quantized typically to 8-bit integers although lower bit width implementations are also discussed including binary neural networks. Both pruning and quantization can be used independently or combined. We compare current techniques, analyze their strengths and weaknesses, present compressed network accuracy results on a number of frameworks, and provide practical guidance for compressing networks.

연구 동기 및 목표

• 네트워크 압축의 필요성을 동력화된 실시간 배치를 가능하게 하고 significant accuracy 손실 없이 에너지 비용을 감소시키기 위해 동기를 부여한다.
• 가지치기와 양자화 기법을 네트워크 그레나ularity와 배치 시나리오 전반에 걸친 트레이드오프를 분류하고 분석한다.
• 합성곱 신경망에 가지치기와 양자화 적용에 대한 실용적 가이드를 제공한다.
• 압축 방법의 프레임워크 간 성능을 비교하고 장단점을 강조한다.

제안 방법

• 가지치기를 정적(오프라인)와 동적(런타임)으로 분류하고 각 기준과 영향에 대해 논의한다.
• 맥가 값 기반 가지치기와 페널티 기반 가지치기 접근법을 다루며, 가능하면 l1/L2 정규화 및 Hessian 기반 방법을 포함한다.
• 가지치기의 형태별, 필터별, 채널별 및 기타 그레나리티 옵션과 이들이 희소성과 정확도에 미치는 영향을 설명한다.
• 8비트에서 더 낮은 비트 폭으로의 양자화 스킴을 설명하고 이진 네트워크를 고려하며 프레임워크 간 비교를 다룬다.
• 가지치기와 양자화가 독립적으로 또는 함께 어떻게 사용될 수 있는지 요약하고 실용적인 압축 가이드를 제공한다.]

실험 결과

연구 질문

• RQ1 CNN 가속화를 위한 주요 가지치기 및 양자화 기법은 무엇이며 오프라인 배치와 런타임 배포에서 어떻게 다른가?
• RQ2 그레나리티 선택(요소별, 채널별, 필터별, 계층별)이 희소성, 정확도 및 하드웨어 성능에 어떤 영향을 미치는가?
• RQ3 일반적인 CNN 벤치마크와 프레임워크 전반에서 가지치기 및/또는 양자화를 적용할 때의 일반적인 정확도 영향은 무엇인가?
• RQ4 실제 배포에서 가지치기 및 양자화를 선택하고 적용하기 위한 실용적인 지침은 무엇인가?

주요 결과

• 가지치기와 양자화는 독립적으로 또는 함께 사용하여 CNN 추론을 가속화할 수 있는 보완적 기술이다.
• 정적 가지치기와 동적 가지치기는 오프라인 대 런타임 최적화에서 서로 다른 트레이드오프를 제공하며 희소성과 정확도에 미치는 영향이 다르다.
• 다양한 가지치기 그레나리티(요소별, 채널별, 필터별, 계층별)는 서로 다른 희소성 패턴과 하드웨어 영향이 있다.
• 양자화는 일반적으로 정밀도를 8비트 정수로 축소하지만 더 낮은 비트 폭과 심지어 이진 네트워크까지 확장될 수 있으며 정확도에 다양한 영향을 준다.
• 본 설문은 최신 방법과 프레임워크를 비교하고 실용적인 압축 전략에 대한 지침을 제공한다.