[논문 리뷰] Compressing RNNs for IoT devices by 15-38x using Kronecker Products

Urmish Thakker, Jesse Beu외 5명|arXiv (Cornell University)|2019. 06. 07.

Advanced Neural Network Applications참고 문헌 54인용 수 30

한 줄 요약

이 논문은 IoT 장치에 배포하기 위해 RNN 모델 크기를 15–38×로 압축하기 위해 크로네커 곱(Kronecker Product, KP) 압축 기법을 제안하며, 정확도 손실이 최소화된다. KP 요소를 직접 학습하고 하이브리드 KP(HKP) 접근법을 사용해 정확도를 복구함으로써, 상태 기반의 고압축을 달성하며, 8비트 양자화를 통해 50× 압축으로까지 확장된다. 이는 빠른 추론을 유지하면서도 5개의 벤치마크에서 양자화 및 저질서 행렬 분해보다 뛰어난 성능을 보인다.

ABSTRACT

Recurrent Neural Networks (RNN) can be difficult to deploy on resource constrained devices due to their size.As a result, there is a need for compression techniques that can significantly compress RNNs without negatively impacting task accuracy. This paper introduces a method to compress RNNs for resource constrained environments using Kronecker product (KP). KPs can compress RNN layers by 15-38x with minimal accuracy loss. By quantizing the resulting models to 8-bits, we further push the compression factor to 50x. We show that KP can beat the task accuracy achieved by other state-of-the-art compression techniques across 5 benchmarks spanning 3 different applications, while simultaneously improving inference run-time. We show that the KP compression mechanism does introduce an accuracy loss, which can be mitigated by a proposed hybrid KP (HKP) approach. Our HKP algorithm provides fine-grained control over the compression ratio, enabling us to regain accuracy lost during compression by adding a small number of model parameters.

연구 동기 및 목표

• 제한된 메모리와 처리 능력을 가진 자원이 제한된 IoT 기기에서 큰 RNN을 배포하는 데 도전하는 것.
• 기존의 압축 기법—자르기(pruning)와 저질서 행렬 분해(Low-Rank Matrix Factorization, LMF)—의 한계를 규명하여, 정확도가 크게 저하되지 않도록 15× 이상의 압축을 달성하지 못한다는 점을 밝히는 것.
• 높은 압축 비율을 유지하면서도 모델 정확도를 보존할 수 있도록 크로네커 곱(Kronecker Products, KP)을 사용한 새로운 압축 방법을 개발하는 것.
• KP 압축 과정에서 발생하는 정확도 손실을 복구하기 위해 소수의 파라미터를 선택적으로 추가하는 하이브리드 KP(HKP) 메커니즘을 도입하는 것.
• KP 기반 압축이 여러 IoT 대상 벤치마크에서 추론 속도를 향상시키고, 최신 기술 수준의 성능을 달성함을 입증하는 것.

제안 방법

• RNN 가중치 행렬을 더 작은 저질서 행렬로 분해함으로써 크로네커 곱을 사용해 압축하여, 파라미터 수를 15–38×로 감소시킴.
• 후행 분해(post-hoc decomposition)에 의존하지 않고 학습 도중에 KP 요소를 직접 학습함으로써 더 나은 근사와 유연성을 확보함.
• KP로 압축된 모델에 8비트 양자화를 적용하여 추가로 압축을 증가시켜 초자원 제약이 있는 기기용으로 모델 크기를 줄임.
• KP 압축 과정에서 발생한 정확도 손실을 복구하기 위해 소수의 학습된 파라미터를 추가하는 하이브리드 KP(HKP) 접근법을 제안함.
• 압축 비율과 정확도 사이의 균형을 맞추기 위해 압축 비율과 성능 간의 트레이드오프를 세밀하게 제어할 수 있도록 손실 함수를 설계함.
• 표준 최적화 기법(Adam)을 사용하여 모델을 훈련시키며 학습률 스케줄링과 가중치 감쇠를 적용하고, 압축된 행렬의 질서와 조건수를 모니터링하여 안정성을 확보함.

실험 결과

연구 질문

• RQ1 크로네커 곱 기반 압축이 IoT 벤치마크에서 정확도 손실이 크지 않은 상태에서 RNN에 대해 15× 이상의 압축을 달성할 수 있는가?
• RQ2 기존의 압축 기법인 자르기와 저질서 행렬 분해가 RNN에서 높은 압축 비율을 달성하면서도 수용 가능한 정확도를 유지하지 못하는 이유는 무엇인가?
• RQ3 KP 압축이 RNN 가중치 행렬의 질서와 조건수에 어떤 영향을 미치며, 이를 어떻게 완화할 수 있는가?
• RQ4 하이브리드 KP(HKP) 접근법이 KP 압축 과정에서 발생한 정확도 손실을 효과적으로 복구하면서도 높은 압축 비율을 유지할 수 있는가?
• RQ5 KP 기반 압축이 기준 및 기존의 압축 기법 대비 자원 제약이 있는 기기에서 추론 런타임을 향상시키는가?

주요 결과

• KP 압축은 테스트한 5개의 벤치마크에서 모두 정확도 손실이 최소화된 상태로 RNN 레이어에서 16–38×의 압축을 달성하며, 자르기와 LMF보다 모두 뛰어난 성능을 보였다.
• 하이브리드 KP(HKP) 방법은 매우 소수의 파라미터를 추가함으로써 KP 압축 과정에서 발생한 정확도 손실을 복구하며, 압축-정확도 트레이드오프에 대한 세밀한 제어를 가능하게 한다.
• 8비트 양자화를 적용하면 총 압축 비율이 50×에 도달하여, 2KB RAM과 32KB 플래시 메모리만을 가진 IoT 기기에도 배포 가능한 모델을 가능하게 한다.
• HAR1 벤치마크에서 HKPLSTM는 159.83KB(15.9× 압축) 크기에서 평균 정확도 91.025%를 달성했으며, 유사 크기의 LMF(90.61%)와 자르기(86.56%)를 모두 뛰어넘었다.
• KWS-LSTM 벤치마크에서 HKPLSTM는 26.38KB(9.2× 압축) 크기에서 평균 정확도 91.66%를 달성했으며, 유사 크기의 LMF(91.26%)와 자르기(87.25%)를 모두 초월했다.
• 추론 런타임이 크게 향상되었으며, 예를 들어 KWS-LSTM에서 26.8ms에서 3.2ms로 감소하여, KP 압축이 크기 감소뿐 아니라 엣지 기기에서의 추론 속도 향상에도 기여한다는 점을 입증했다.