[논문 리뷰] Recurrent Neural Networks With Limited Numerical Precision

J. C. Ott, Zhouhan Lin외 3명|arXiv (Cornell University)|2016. 08. 24.

Neural Networks and Applications참고 문헌 15인용 수 50

한 줄 요약

이 논문은 순환 신경망(RNN)에서 학습 중 저정도 가중치 양자화를 조사하며, 확률적 및 결정적 이진화, 삼진화, pow2-삼진화, 그리고 새로운 지수 양자화 방법을 평가한다. 연구 결과 삼진화 및 그 변종이 이진화보다 유의미하게 뛰어나며, 음성 및 언어 작업에서 정밀도가 전체인 모델과 유사하거나 더 높은 정확도를 달성함으로써 저전력 하드웨어에 효율적으로 구현 가능하다.

ABSTRACT

Recurrent Neural Networks (RNNs) produce state-of-art performance on many machine learning tasks but their demand on resources in terms of memory and computational power are often high. Therefore, there is a great interest in optimizing the computations performed with these models especially when considering development of specialized low-power hardware for deep networks. One way of reducing the computational needs is to limit the numerical precision of the network weights and biases. This has led to different proposed rounding methods which have been applied so far to only Convolutional Neural Networks and Fully-Connected Networks. This paper addresses the question of how to best reduce weight precision during training in the case of RNNs. We present results from the use of different stochastic and deterministic reduced precision training methods applied to three major RNN types which are then tested on several datasets. The results show that the weight binarization methods do not work with the RNNs. However, the stochastic and deterministic ternarization, and pow2-ternarization methods gave rise to low-precision RNNs that produce similar and even higher accuracy on certain datasets therefore providing a path towards training more efficient implementations of RNNs in specialized hardware.

연구 동기 및 목표

• 기존에 피드포워드 및 컨볼루션 네트워크에서 사용된 저정도 가중치 양자화 기법이 RNN의 학습 중에도 성공적으로 적용될 수 있는지 조사하기 위해.
• 세 가지 주요 RNN 아키텍처인 보통 RNN, GRU, LSTM에서 수치 정밀도 저하가 성능에 미치는 영향을 평가하기 위해.
• 이진화, 삼진화, pow2-삼진화, 지수 양자화와 같은 다양한 양자화 방법 중에서 RNN에서 안정적이고 정확한 학습을 이끌어내는 방법을 규명하기 위해.
• 정밀도 감소를 통해 메모리 및 계산 요구 사항을 최소화하여 RNN을 저전력 임베디드 하드웨어에 효율적으로 구현하기 위해.
• 재현 가능성과 저정도 RNN 학습 분야의 향후 연구를 지원하기 위해 제안된 양자화 방법에 대한 오픈소스 코드를 제공하기 위해.

제안 방법

• 스토캐스틱 및 결정적 이진화(BinaryConnect), 삼진화(TernaryConnect), pow2-삼진화, 그리고 새로운 지수 양자화 방법을 포함한 네 가지 가중치 양자화 기법을 적용한다.
• 기울기를 누적하기 위해 학습 중에 전체 정밀도의 가중치와 편향 복사본을 유지하지만, 순방향 및 역방향 전파에는 저정도 버전을 사용한다.
• 스토캐스틱 변종에서는 저정도 가중치 생성을 위해 확률적 샘플링을 사용하고, 결정적 변종에서는 임계값 설정을 사용한다.
• 기본 벤치마크 데이터셋을 사용하여 표준 RNN 아키텍처(보통 RNN, GRU, LSTM)와 표준 학습 프로토콜(Adam 옵timizer, Glorot 초기화)을 적용한다.
• 표준 지표를 사용해 성능을 평가한다: 음성 인식에 대해서는 단어 오류율(WER), 언어 모델링에 대해서는 교차 엔트로피와 BPC.
• 실수값 가중치를 지수 스케일링 기반의 이산 값 집합으로 매핑하는 새로운 방법으로 지수 양자화를 도입하여 RNN에서의 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 스토캐스틱 및 결정적 가중치 이진화가 RNN 학습 중에 성능 저하 없이 성공적으로 적용될 수 있는가?
• RQ2 삼진화 및 pow2-삼진화 기법이 대규모 데이터셋에서 RNN에서 안정적이고 정확한 학습을 이끌 수 있는가?
• RQ3 왜 이진화는 RNN에서 실패하고 삼진화는 성공하는가? 그리고 이 차이에서 가중치 분산이 차지하는 역할은 무엇인가?
• RQ4 저정도 RNN이 전체 정밀도 기준 모델과 유사하거나 뛰어난 성능을 달성할 수 있는가, 특히 과적합 상황에서?
• RQ5 예를 들어 -1,0,1 대비 -0.5,0,0.5와 같은 양자화 수준의 선택이 RNN의 수렴성과 정확도에 어떤 영향을 미치는가?

주요 결과

• 이진화가 RNN에서 실패한다. 특히 GRU와 LSTM에서 스트로스틱 이진화는 안정적인 학습과 양호한 수렴을 이끌지 못한다.
• 삼진화 및 그 변종(Pow2-삼진화, 지수 양자화)은 TIDIGITS 및 PTB 데이터셋에서 전체 정밀도 기준 모델과 유사하거나 더 높은 정확도를 달성한다.
• WSJ 음성 인식 데이터셋에서, pow2-삼진화된 LSTM 모델은 87 에포크 후에 단어 오류율(WER) 10.49%를 기록했으며, 전체 정밀도 기준 모델(60 에포크 후 11.16%)을 초월했다.
• TIDIGITS에서 스트로스틱 삼진화 방법은 상위 1 정확도 98.23%를 달성했으며, 전체 정밀도 기준 모델과 거의 유사했고, PTB 데이터셋에서 BPC 측면에서도 전체 정밀도 기준 모델을 0.133 BPC 높이기까지 했다.
• 삼진화의 성공은 이진화에 비해 가중치 합의 분산이 감소하기 때문이며, 이는 반복적으로 시간에 걸쳐 가중치를 사용하는 RNN에서 특히 중요한 요소이다.
• 지수 양자화 방법은 특히 TIDIGITS 실험에서 뛰어난 성능을 보였으며, RNN 양자화의 유망한 대안으로 여겨진다.