[논문 리뷰] Quantization of Acoustic Model Parameters in Automatic Speech Recognition Framework

Amrutha Prasad, Petr Motlíček외 1명|arXiv (Cornell University)|2020. 06. 16.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

이 논문은 Kaldi 기반 DNN-HMM 음성 인식 시스템에서 음성 모델 파라미터의 양자화를 조사하며, PyTorch와 Kaldi에서의 후기 훈련 양자화와 양자화 인식 훈련(QAT)을 비교한다. 대칭 양자화와 적절한 校정을 사용할 경우 8비트 정수 양자화가 모델 크기를 75% 감소시키며 WER의 감소가 최소한(≤2.7% 절대값)임을 보여주며, QAT는 특히 Librispeech 데이터셋에서 더 깊은 TDNN-F 아키텍처에서 후기 훈련 방법보다 성능을 향상시킨다.

ABSTRACT

State-of-the-art hybrid automatic speech recognition (ASR) system exploits deep neural network (DNN) based acoustic models (AM) trained with Lattice Free-Maximum Mutual Information (LF-MMI) criterion and n-gram language models. The AMs typically have millions of parameters and require significant parameter reduction to operate on embedded devices. The impact of parameter quantization on the overall word recognition performance is studied in this paper. Following approaches are presented: (i) AM trained in Kaldi framework with conventional factorized TDNN (TDNN-F) architecture, (ii) the TDNN AM built in Kaldi loaded into the PyTorch toolkit using a C++ wrapper for post-training quantization, (iii) quantization-aware training in PyTorch for Kaldi TDNN model, (iv) quantization-aware training in Kaldi. Results obtained on standard Librispeech setup provide an interesting overview of recognition accuracy w.r.t. applied quantization scheme.

연구 동기 및 목표

• 엔드 투 엔드 DNN 기반 시스템에서 파라미터 양자화가 ASR 성능에 미치는 영향을 평가하기 위해.
• Kaldi의 최신 ASR 훈련과 PyTorch의 고급 양자화 도구 사이의 격차를 메우기 위해.
• TDNN 및 TDNN-F 모델에 대해 후기 훈련 양자화와 양자화 인식 훈련(QAT)을 비교하기 위해.
• float32에서 int8 또는 int16로 양자화할 때 모델 크기 감소와 인식 정확도 간의 트레이드오프를 평가하기 위해.
• 재현성과 재사용을 위해 Kaldi 기반 임베디드 양자화를 위한 오픈소스 코드를 제공하기 위해.

제안 방법

• Librispeech 데이터의 960시간을 대상으로 LF-MMI 기준으로 Kaldi를 사용해 TDNN 및 TDNN-F 음성 모델을 훈련시켰다.
• C++ 워퍼를 통해 훈련된 Kaldi 모델을 PyTorch로 내보내어 PyTorch의 양자화 도구와의 통합을 가능하게 하였다.
• 가중치 전용, 커스터마이즈된 구현(가중치와 활성화 모두 int8로), PyTorch의 내장 양자화 기능을 사용해 후기 훈련 양자화를 적용하였다.
• 양자화 오차를 최소화하기 위해 PyTorch와 Kaldi 양쪽 모두에서 양자화 인식 훈련(QAT)을 구현하였다.
• 8비트 및 16비트 정수 표현에 대해 대칭 양자화를 사용하였으며, 활성화 통계 기반의 동적 범위 校정을 실시하였다.
• 주요 평가 지표로 단어 오류율(WER)을 사용해 Librispeech test-clean 세트에서 모든 모델을 평가하였다.

실험 결과

연구 질문

• RQ1 Kaldi로 훈련된 TDNN 및 TDNN-F 음성 모델에서 8비트 및 16비트 정수 양자화가 단어 오류율(WER)에 어떤 영향을 미치는가?
• RQ2 PyTorch를 사용한 후기 훈련 양자화가 Kaldi로 훈련된 모델에 적용되었을 때 전체 정밀도 모델과 비교해 유사한 성능을 달성할 수 있는가?
• RQ3 PyTorch 또는 Kaldi에서의 양자화 인식 훈련(QAT)이 후기 훈련 양자화보다 양자화 오차를 줄이고 인식 정확도를 향상시키는가?
• RQ4 float32에서 int8로 양자화할 때 모델 크기 감소와 WER 감소 간의 트레이드오프는 어떠한가?
• RQ5 양자화된 TDNN-F 모델의 성능은 기준 TDNN 모델과 비교해 크기와 정확도 측면에서 어떻게 다른가?

주요 결과

• 후기 훈련 양자화를 8비트 정수로 적용하면 모델 크기가 75% 감소하였고, float32 기준 모델 대비 WER이 최대 2.7% 절대값 증가하였다.
• 가중치와 활성화를 동일한 범위로 모두 int8로 변환하는 커스터마이즈된 양자화 구현이 단음소 및 이음소 모델에서 성능 손실 없이 75% 모델 크기 감소를 달성하였다.
• PyTorch의 내장 양자화 기능을 사용한 결과, 단음소 모델에서는 WER이 2% 절대값 증가(8.4%에서 10.4%로)했지만, 이음소 모델에서는 성능 저하 없이 유지되었다.
• PyTorch에서의 양자화 인식 훈련(QAT)은 후기 훈련 양자화 대비 WER을 0.6% 절대값 감소시켜 기준 모델 대비 성능 향상을 이룬 바 있다.
• TDNN-F 모델은 표준 TDNN보다 더 우수한 성능을 보였으며, 모델 크기는 60% 감소하고 WER은 기준 TDNN 대비 2.7% 절대값 증가하였다.
• Kaldi 기반 QAT 방법은 가중치 전용 양자화보다 양자화 오차를 줄이고 성능을 0.6% 절대값 향상시켰으며, 프레임워크 간 전환 없이도 가능했다.