[논문 리뷰] To Compress, or Not to Compress: Characterizing Deep Learning Model Compression for Embedded Inference

Qing Qin, Jie Ren외 7명|arXiv (Cornell University)|2018. 10. 21.

Advanced Neural Network Applications참고 문헌 19인용 수 7

한 줄 요약

이 논문은 NVIDIA Jetson TX2 임베디드 플랫폼에서 모델 압축 기법—자르기와 양자화—에 대한 종합적인 실험적 특성 분석을 제공하며, 11종의 다양한 딥 러닝 모델을 대상으로 추론 속도, 에너지 소비, 모델 크기, 정확도에 미치는 영향을 평가한다. 연구 결과 압축 효과는 아키텍처 및 대상에 따라 크게 달라지며, 보편적인 최적 설정이 없음을 입증하고, 응용 분야의 제약 조건에 기반한 압축 전략 선택을 위한 실질적인 지침을 제시한다.

ABSTRACT

The recent advances in deep neural networks (DNNs) make them attractive for embedded systems. However, it can take a long time for DNNs to make an inference on resource-constrained computing devices. Model compression techniques can address the computation issue of deep inference on embedded devices. This technique is highly attractive, as it does not rely on specialized hardware, or computation-offloading that is often infeasible due to privacy concerns or high latency. However, it remains unclear how model compression techniques perform across a wide range of DNNs. To design efficient embedded deep learning solutions, we need to understand their behaviors. This work develops a quantitative approach to characterize model compression techniques on a representative embedded deep learning architecture, the NVIDIA Jetson Tx2. We perform extensive experiments by considering 11 influential neural network architectures from the image classification and the natural language processing domains. We experimentally show that how two mainstream compression techniques, data quantization and pruning, perform on these network architectures and the implications of compression techniques to the model storage size, inference time, energy consumption and performance metrics. We demonstrate that there are opportunities to achieve fast deep inference on embedded systems, but one must carefully choose the compression settings. Our results provide insights on when and how to apply model compression techniques and guidelines for designing efficient embedded deep learning systems.

연구 동기 및 목표

• 실제 임베디드 시스템에서 모델 압축 기법의 성능 상충 관계를 이해하기 위해.
• 자르기와 양자화가 자원 제약이 있는 장치에서 추론 시간, 에너지 소비, 모델 크기, 정확도에 미치는 영향을 평가하기 위해.
• 임베디드 딥 러닝 워크로드에 대해 압축 기법을 효과적으로 적용할 시점과 방법을 규명하기 위해.
• 응용 분야의 구체적 제약 조건에 기반한 데이터 기반 지침을 제공하여 모델 압축 최적화를 위해.
• 모델 크기 감소가 항상 더 빠른 추론을 이끌지 않는다는 점을 드러내어 분야 내 일반적인 가정을 도전하기 위해.

제안 방법

• 이미지 분류 및 NLP 도메인의 11개 대표적인 DNN을 사용하여 NVIDIA Jetson TX2 플랫폼에서 광범위한 실험을 수행하였다.
• 주요 압축 기법 두 가지를 적용: 크기 기반 자르기와 사후 훈련 가중치 양자화(8비트 및 4비트 정밀도).
• 핵심 메트릭스인 추론 지연, 에너지 소비, 모델 저장 크기, 예측 정확도를 압축 전후로 측정하고 비교하였다.
• 다양한 네트워크 아키텍처를 대상으로 압축 행동을 분석하기 위해 정량적이고 아키텍처 간 비교 평가 프레임워크를 사용하였다.
• 자르기와 양자화의 병합 효과를 평가하여 상호 보완적 이점 여부를 분석하였다.
• CNN과 RNN을 포함한 다양한 네트워크 유형에 대한 압축 영향을 분석하여 아키텍처 특화 추세를 규명하였다.

실험 결과

연구 질문

• RQ1 임베디드 플랫폼에서 다양한 DNN 아키텍처에 대해 자르기와 양자화가 추론 시간, 에너지 소비, 모델 크기, 정확도에 어떤 영향을 미치는가?
• RQ2 압축을 통해 모델 크기를 줄이면 항상 임베디드 장치에서 더 빠른 추론이 이루어지는가?
• RQ3 RNN이나 CNN과 같은 특정 네트워크 유형에 대해 자르기와 양자화 중 어느 기법이 더 우수한 성능 상충 관계를 제공하는가?
• RQ4 자르기와 양자화를 병합했을 때의 성능 영향은 어떠한가? 그리고 양자화의 오버헤드가 자르기의 이점을 상쇄하는 경우는 언제인가?
• RQ5 임베디드 배포를 위해 크기, 속도, 정확도를 균형 있게 조절할 수 있는 파레토 최적의 압축 파rameter 설정을 식별할 수 있는가?

주요 결과

• 자르기는 정확도 제어가 세밀하게 가능하며, 반복적 구조를 가진 RNN에 특히 효과적이다.
• 양자화는 자르기보다 모델 크기를 더 효과적으로 줄이지만, 하드웨어 특화된 메모리 액세스 패턴으로 인해 항상 추론 시간을 감소시키는 것은 아니다.
• 압축의 성능 향상은 기반 신경망 아키텍처에 크게 의존하며, 보편적인 최적 설정이 존재하지 않는다.
• 자르기와 양자화를 병합하면 상호 보완적 향상 효과를 낼 수 있지만, 희귀성에서 유도되는 이점이 양자화 오버헤드에 의해 상쇄되는 경우는 제외된다.
• 모델 크기 감소가 항상 더 빠른 추론을 보장하지는 않으며, 일부 압축 모델은 비효율적인 메모리 액세스 또는 계산 패턴으로 인해 지연이 증가할 수 있다.
• 예측에 높은 신뢰도가 필요한 애플리케이션(예: 감시)의 경우, 정확도 상충 관계를 제어할 수 있는 자르기가 바람직하다.