[논문 리뷰] On the efficient representation and execution of deep acoustic models

Raziel Álvarez, Rohit Prabhavalkar외 1명|arXiv (Cornell University)|2016. 07. 15.

Speech Recognition and Synthesis참고 문헌 19인용 수 6

한 줄 요약

이 논문은 깊이 있는 음성 모델에 대한 단순한 8비트 정수 양자화 기법을 제안하며, 최적화된 정수 산술을 통해 메모리 사용량을 줄이고 추론 속도를 향상시킨다. 또한 양자화 인식 훈련 과정을 도입하여 양자화로 인한 정확도 손실의 대부분을 복구한다. LSTM 기반 음성 인식에서 평가한 결과, 노이즈 있는 조건에서도 거의 손실이 없는 성능을 달성한다.

ABSTRACT

In this paper we present a simple and computationally efficient quantization scheme that enables us to reduce the resolution of the parameters of a neural network from 32-bit floating point values to 8-bit integer values. The proposed quantization scheme leads to significant memory savings and enables the use of optimized hardware instructions for integer arithmetic, thus significantly reducing the cost of inference. Finally, we propose a "quantization aware" training process that applies the proposed scheme during network training and find that it allows us to recover most of the loss in accuracy introduced by quantization. We validate the proposed techniques by applying them to a long short-term memory-based acoustic model on an open-ended large vocabulary speech recognition task.

연구 동기 및 목표

• 정확도를 훼손하지 않으면서 자원이 제한된 모바일 장치에 깊이 있는 음성 모델을 효율적으로 구현하는 것을 목표로 한다.
• 32비트 부동소수점 가중치를 8비트 정수로 양자화하는 후기 훈련 과정에서 발생하는 정확도 저하 문제를 해결하는 것.
• 전체 정밀도 모델과 양자화 모델 간의 성능 격차를 최소화하는 훈련 인식 양자화 방법을 개발하는 것.
• 청결한 조건과 노이즈 있는 조건에서 모두 장기 단기 기억(LSTM) 기반 음성 모델에 대해 제안된 방법의 효과를 평가하는 것.

제안 방법

• 균일 선형 양자화기는 각 레이어의 가중치 동적 범위에서 유도된 스케일 요소를 사용하여 32비트 부동소수점 가중치를 8비트 정수로 매핑한다.
• 양자화는 추론 중 단순한 스케일링 및 클리핑 연산을 통해 적용된다: $ V' = Q \times (V - V_{\text{min}}) $, 여기서 $ Q = \frac{255}{V_{\text{max}} - V_{\text{min}}} $.
• 양자화 인식 훈련 과정은 전방 전파 시에 양자화된 가중치를 사용하지만, 기울기 업데이트는 전체 정밀도 가중치를 사용하여 백프로파게이션 중에 양자화 노이즈를 시뮬레이션한다.
• 이 방법은 'quant' 방식에서는 최종 소프트맥스 레이어를 제외한 모든 레이어에 적용되며, 'quant-all' 변형에서는 모든 레이어에 적용된다.
• LSTM 프로젝션 레이어에 대해 스케줄링된 프로젝션 학습률을 사용하여 이중 단계 사전 훈련이 필요 없이 수렴 속도를 높인다.
• 이 접근법은 대규모 어휘, 개방형 음성 인식 작업을 대상으로 LSTM 음성 모델을 사용하여 검증되었다.

실험 결과

연구 질문

• RQ1 8비트 정수 양자화가 깊이 있는 음성 모델의 메모리와 계산 비용을 상당한 정확도 손실 없이 크게 줄일 수 있는가?
• RQ2 양자화 인식 훈련이 후기 훈련 양자화로 인한 정확도 손실을 얼마나 효과적으로 복구하는가?
• RQ3 제안된 양자화 기법이 노이즈 있는 음성 인식 조건에서도 성능을 유지하는가?
• RQ4 선형 순환 프로젝션 레이어의 포함 여부가 양자화에 대한 강건성과 모델 효율성에 어떤 영향을 미치는가?
• RQ5 학습률 스케줄링과 같은 훈련 전략은 양자화된 LSTM 모델을 훈련할 때 수렴과 성능을 향상시키는 데 어떤 영향을 미치는가?

주요 결과

• 후기 훈련 양자화로 8비트 정수로 변환한 결과, 노이즈 있는 평가 세트에서 최대 8.1%의 상대적 WER 증가와 청결한 세트에서 최대 5.1%의 증가가 발생했다.
• 양자화 인식 훈련은 청결한 세트에서 정확도 손실의 2.1%를 복구했고, 노이즈 있는 세트에서는 4.0%를 복구했으며, 일부 모델은 거의 완전한 복구를 달성했다.
• 프로젝션 레이어를 포함한 모델들은 표준 깊이 있는 LSTM 아키텍처보다 양자화에 더 강건했으며, 성능 저하가 덜 발생했다.
• 'quant' 방식(소프트맥스를 양자화에서 제외)은 최종 WER 측면에서 'quant-all'보다 略적으로 우수한 성능을 보였으며, 이는 고정밀도 출력 레이어가 정확도 유지에 기여함을 시사한다.
• 스케줄링된 프로젝션 학습률 전략은 SVD 기반 초기화보다 더 빠른 수렴을 가능하게 했고, 이중 단계 훈련의 필요성을 제거했다.
• 제안된 양자화 기법은 SIMD 최적화 정수 산술을 통해 빠른 속도 향상을 이끌었고, 메모리 대역폭도 감소시켜 임베디드 음성 인식 시스템에 적합하다.