[논문 리뷰] Toward Computation and Memory Efficient Neural Network Acoustic Models with Binary Weights and Activations

Liang Lu|arXiv (Cornell University)|2017. 06. 28.

Speech Recognition and Synthesis참고 문헌 22인용 수 4

한 줄 요약

이 논문은 깊이 있는 신경망 음성 모델을 이진 가중치와 활성화로 훈련시켜 메모리 사용량을 극적으로 줄이고 계산 속도를 높이는 방법을 제안한다. 실수값 가중치와 활성화를 {-1, +1} 또는 {0, 1} 값으로 대체함으로써 행렬 곱셈이 빠른 비트단위 연산과 덧셈 연산으로 대체되며, 이는 자원이 제한된 장치에서 효율적인 추론을 가능하게 한다. 이 방법은 WSJ 및 AMI 데이터셋에서 경쟁 가능한 WER를 달성하였으며, 반으로 나누어진 가중치 모델은 반으로 나누어진 훈련 전략을 사용할 때 AMI에서 약 1% 절대적 WER 감소를 이룩하였다.

ABSTRACT

Neural network acoustic models have significantly advanced state of the art speech recognition over the past few years. However, they are usually computationally expensive due to the large number of matrix-vector multiplications and nonlinearity operations. Neural network models also require significant amounts of memory for inference because of the large model size. For these two reasons, it is challenging to deploy neural network based speech recognizers on resource-constrained platforms such as embedded devices. This paper investigates the use of binary weights and activations for computation and memory efficient neural network acoustic models. Compared to real-valued weight matrices, binary weights require much fewer bits for storage, thereby cutting down the memory footprint. Furthermore, with binary weights or activations, the matrix-vector multiplications are turned into addition and subtraction operations, which are computationally much faster and more energy efficient for hardware platforms. In this paper, we study the applications of binary weights and activations for neural network acoustic modeling, reporting encouraging results on the WSJ and AMI corpora.

연구 동기 및 목표

• 자원이 제한된 임베디드 장치에 깊이 있는 신경망 음성 모델을 구현할 수 있도록 메모리 프로파일을 줄이고 계산 비용을 낮추기 위해.
• 대용량 어휘 음성 인식에서 이진 가중치와 활성화를 갖는 신경망의 실현 가능성과 성능을 조사하기 위해.
• 이진 신경망에서 흔히 발생하는 훈련 발산 문제를 완화하는 실용적인 훈련 알고리즘을 개발하기 위해.
• 반으로 나누는 전략, 특히 반으로 나누는 훈련 전략과 임계값 기반 활성화 반으로 나누기의 영향을 평가하기 위해.
• 음성 인식 맥락에서 다양한 활성화 범위, 예를 들어 (-1, +1)과 (0, 1) 간의 성능 비교를 위해.

제안 방법

• 온도 조절된 시그모이드 함수를 통한 스위치 추정을 통한 가중치의 반으로 나누기, 이는 이산 값들을 통한 역전파를 가능하게 한다.
• 직접 전파 추정기(straight-through estimator)를 사용하여 이진 활성화 함수를 통한 기울기 역전파를 수행함으로써 엔드 투 엔드 훈련을 가능하게 한다.
• 학습 중 실수값에서 이진 가중치로 점진적으로 전이할 수 있도록 학습 가능한 온도 파rameter p를 사용한 반으로 나누는 훈련 전략 적용.
• 학습 가능한 임계값 k를 사용한 활성화의 임계값 기반 반으로 나누기, 서로 다른 활성화 범위에 대해 별도 최적화 수행.
• 더 나은 기울기 흐름 확보를 위해 하드-시그모이드 근사치를 사용한 수정된 ReLU 유사 활성화 함수 도입.
• 이진 모델의 경우 기준 모델(0.008)보다 낮은 초기 학습률(0.001)을 사용하여 최적화 안정성 향상.

실험 결과

연구 질문

• RQ1 대용량 어휘 음성 인식 작업에서 이진 가중치와 활성화를 효과적으로 사용할 수 있는가?
• RQ2 온도 파rameter p를 사용한 반으로 나누는 훈련 전략이 모델 수렴과 성능에 어떤 영향을 미치는가?
• RQ3 다른 활성화 범위((예: (-1, +1) 대비 (0, 1))가 모델 정확도와 훈련 안정성에 어떤 영향을 미치는가?
• RQ4 활성화의 임계값 기반 반으로 나누기가 인식 성능와 훈련 역학에 어떤 영향을 미치는가?
• RQ5 이진 가중치와 활성화를 모두 갖는 모델이 수렴하지 못하는 이유는 무엇이며, 그 배경에 있는 최적화 과제는 무엇인가?

주요 결과

• AMI 데이터셋에서 p = 0.01인 반으로 나누는 훈련 전략은 평가 세트의 WER을 기준 모델 대비 약 1% 절대적으로 감소시켰다.
• p = 0.01인 이진 가중치 모델은 AMI 데이터셋의 dev 세트에서 WER 29.6%를, eval 세트에서 31.7%를 기록하였다.
• k=1일 때 (0,1) 범위의 이진 활성화는 (-1,+1)보다 유의미하게 더 우수한 성능을 보였으며, 이는 시그모이드 초기화 네트워크와의 더 나은 호환성을 시사한다.
• (0,1) 반으로 나누기 모델은 임계값 k가 증가함에 따라 빠르게 성능이 떨어졌는데, 이는 음수 입력에 대한 비대칭 근사 오류 때문일 가능성이 높다.
• 이진 가중치와 활성화를 모두 갖는 이진 신경망은 2048개의 은닉 유닛을 사용할 경우 수렴하지 못했으며, 이는 공동 반으로 나누기에서의 심각한 최적화 과제를 시사한다.
• WSJ1에서는 dev 및 eval 세트에서 일관된 WER 향상이 관찰되지 않아, 데이터 분포 불일치의 영향일 가능성이 있어 강력한 결론 도출이 제한되었다.