[논문 리뷰] Low Precision RNNs: Quantizing RNNs Without Losing Accuracy

Supriya Kapur, Asit Mishra외 1명|arXiv (Cornell University)|2017. 10. 20.

Advanced Neural Network Applications참고 문헌 8인용 수 21

한 줄 요약

이 논문은 가중치와 활성화의 비트 폭을 최소 4비트로 줄여도 기준 성능을 그대로 유지하는 순환 신경망(RNNs)을 위한 양자화 방법을 제안한다. 양자화 과정에서 모델 크기를 전략적으로 증가시킴으로써 성능을 유지하면서도 저정밀도 추론을 통한 뚜렷한 하드웨어 효율성 향상을 달성한다.

ABSTRACT

Similar to convolution neural networks, recurrent neural networks (RNNs) typically suffer from over-parameterization. Quantizing bit-widths of weights and activations results in runtime efficiency on hardware, yet it often comes at the cost of reduced accuracy. This paper proposes a quantization approach that increases model size with bit-width reduction. This approach will allow networks to perform at their baseline accuracy while still maintaining the benefits of reduced precision and overall model size reduction.

연구 동기 및 목표

• 저정밀도 RNN에서 모델 효율성과 정확도 사이의 일반적인 상충 관계를 해결하기 위해.
• 정확도 저하 없이 비트 폭을 감소시킨 양자화(예: 4비트)를 가능하게 하기 위해.
• 양자화 과정에서 모델 크기를 증가시키는 것이 성능 저하를 완화할 수 있는지 탐색하기 위해.
• 저정밀도 설정에서 정확도를 유지하는 실용적인 RNN 양자화 프레임워크를 제공하기 위해.

제안 방법

• 이 방법은 기존 훈련 후 양자화를 활용하며, 비트 폭 감소에 대응하기 위해 모델 용량을 증가시키는 새로운 전략을 적용한다.
• 네트워크가 저정밀도 제약 조건 하에서도 더 강건한 표현을 학습할 수 있도록 재파rameterization 기법을 사용한다.
• 양자화 과정에서 활성화 및 가중치의 범위를 조정하는 스케일링 메커니즘을 도입하여 정보 손실을 최소화한다.
• 완전한 재훈련이 필요 없이 양자화 이후 미세조정에 집중하는 양자화 인식 훈련 원칙을 적용한다.
• 저정밀도 가중치와 활성화로 인한 표현 능력 손실를 상쇄하기 위해 은닉층 차원을 확장함으로써 모델 크기를 증가시킨다.
• 표준 RNN 아키텍처인 GRUs와 LSTMs에 대해 시퀀스 모델링 벤치마크에서 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 RNN이 4비트 정밀도로 양자화되어도 기준 정확도를 유지할 수 있는가?
• RQ2 양자화 과정에서 모델 크기를 증가시키는 것이 저정밀도 RNN의 정확도 저하를 완화하는가?
• RQ3 기본적인 저정밀도 양자화 방법과 비교해 볼 때 제안된 양자화 전략의 효과는 어떠한가?
• RQ4 저정밀도 RNN에서 모델 크기, 추론 속도, 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 방법은 4비트 정밀도에서도 표준 언어 모델링 벤치마크에서 기준 정확도를 완전히 확보한다.
• 모델 용량을 증가시킨 양자화된 RNN은 정확도 측면에서 표준 저정밀도 양자화 방법보다 뛰어난 성능을 보인다.
• 성능 저하 없이도 모델 압축과 하드웨어 효율성 향상에 뚜렷한 기여를 한다.
• 이 방법은 GRUs와 LSTMs를 포함한 여러 RNN 아키텍처에서 효과적으로 작동한다.