[논문 리뷰] Effective Quantization Methods for Recurrent Neural Networks

Qinyao He, He Wen외 5명|arXiv (Cornell University)|2016. 11. 30.

Advanced Neural Network Applications참고 문헌 20인용 수 65

한 줄 요약

이 논문은 LSTM 및 GRU 셀에서 가중치와 활성화를 효과적으로 저비트로 양자화할 수 있는 새로운 양자화 프레임워크를 제안한다. 게이트와 인터링크에 대한 구조적 수정과 가중치에 따라 달라지는 임계값을 갖는 균형 임계값 양자화를 도입함으로써, 2비트 가중치에서도 최신 기술 수준의 성능을 달성하며, PTB 및 IMDB 데이터셋에서 이전 연구를 능가한다.

ABSTRACT

Reducing bit-widths of weights, activations, and gradients of a Neural Network can shrink its storage size and memory usage, and also allow for faster training and inference by exploiting bitwise operations. However, previous attempts for quantization of RNNs show considerable performance degradation when using low bit-width weights and activations. In this paper, we propose methods to quantize the structure of gates and interlinks in LSTM and GRU cells. In addition, we propose balanced quantization methods for weights to further reduce performance degradation. Experiments on PTB and IMDB datasets confirm effectiveness of our methods as performances of our models match or surpass the previous state-of-the-art of quantized RNN.

연구 동기 및 목표

• 저비트 양자화된 RNN에서 관찰되는 심각한 성능 저하 문제를 해결한다. 특히 2비트 가중치와 활성화에서 발생하는 성능 저하를 대비한다.
• 극단적인 비트 폭 제약 조건 하에서도 모델 용량을 유지할 수 있도록 LSTM 및 GRU 셀을 위한 양자화 인식 구조를 설계한다.
• 균형 임계값 양자화 방법을 개발하여, 대칭적이고 균일하게 분포된 양자화된 가중치를 유도함으로써, 가중치 공간의 활용도를 극대화한다.
• 균형 임계값 양자화가 비균형 대비 특히 2비트 정밀도에서 성능 향상에 크게 기여함을 입증한다.
• 재현 가능성과 향후 연구를 가능하게 하기 위해, 텐서플로우 기반으로 양자화된 RNN 학습을 위한 오픈소스 코드를 공개한다.

제안 방법

• 가중치와 활성화에 대해 균일한 k비트 양자화를 적용하며, 양자화 이전에 값들을 [0,1] 범위로 애핀 변환한다.
• 학습 중 비가역적인 양자화 함수를 통한 기울기 역전파를 위해 직행 추정기(stealth-through estimator, STE)를 사용한다.
• 특히 2비트 경우에 유리한 균형 임계값 분포를 유도하기 위해, 양자화 과정에 가중치에 따라 달라지는 임계값을 도입한다.
• 수치적 안정성을 유지하기 위해, 게이트 연산과 인터링크 연결을 양자화함으로써 LSTM 및 GRU 셀의 내부 구조를 수정한다.
• 기울기 폭주를 방지하기 위해, tanh 활성화 함수와 가중치 감소 등의 정규화 및 정규화 기법을 적용한다.
• 고정된 초기화 하이퍼파ram터를 사용하여 ADAM 옵티마이저로 모델을 학습하고, 표준 자연어 처리 벤치마크(PTB 및 IMDB)에서 평가한다.

실험 결과

연구 질문

• RQ1 2비트 가중치와 활성화에서 성능 저하 없이 효과적인 RNN 양자화가 가능할 수 있는가?
• RQ2 가중치에 대해 가중치에 따라 달라지는 임계값을 통해 유도된 균형 임계값 양자화는 비균형 양자화 대비 정확도에 어떤 영향을 미치는가?
• RQ3 LSTM 및 GRU 셀에 대한 어떤 구조적 수정이 저비트 양자화 하에서의 강건성을 향상시키는가?
• RQ4 제안된 방법이 Penn Treebank 및 IMDB와 같은 표준 자연어 처리 벤치마크에서 이전 최신 기술 수준의 양자화된 RNN을 능가하는가?
• RQ5 제안된 양자화 프레임워크는 다른 RNN 아키텍처로 일반화될 수 있으며, 4비트를 초월하는 더 높은 비트 폭으로 확장 가능한가?

주요 결과

• 제안된 균형 임계값 양자화 방법은 성능 저하를 크게 감소시켜, LSTM에서 2비트 가중치와 3비트 활성화를 사용할 경우 펜 트리버크 데이터셋에서 146 퍼플렉서티(PPW)를 달성한다.
• 2비트 가중치와 2비트 활성화를 사용할 경우, GRU 모델은 PTB에서 150 PPW를 기록하며, 이는 이전 최신 기술 수준보다 74 PPW 우수하다.
• IMDB 문장 분류 작업에서 2비트 가중치와 2비트 활성화를 사용하는 GRU 모델은 87.08%의 정확도를 기록하며, 비균형 대비 0.86%p 높은 성능을 달성한다.
• 4비트 양자화 모델은 전체 정밀도 32비트 모델과 유사하거나 略로 뛰어난 성능을 보이며, PTB에서 GRU는 104 PPW, LSTM은 114 PPW를 기록한다.
• 이진화 모델(1비트 가중치)은 수렴은 하지만 큰 성능 저하를 겪어, 아키텍처 수정 없이 1비트 양자화는 여전히 RNN에 도전 과제로 남아 있음을 시사한다.
• 결과적으로 균형 임계값 양자화가 저비트 폭에서 특히 효과적임을 확인하였으며, 특히 2비트 정밀도에서 균형과 비균형 방법 간의 성능 격차가 더욱 벌어진다.