[논문 리뷰] A Simplified Fully Quantized Transformer for End-to-end Speech Recognition

Alex Bie, Bharat Venkitesh외 3명|arXiv (Cornell University)|2019. 11. 09.

Speech Recognition and Synthesis참고 문헌 31인용 수 18

한 줄 요약

이 논문은 디코더 측의 컨볼루션, 위치 인코딩을 제거하고 은닉 차원을 줄인 간소화된, 완전히 양자화된 트랜스포머를 제안하며, 이를 통해 8비트 후기 양자화를 통해 성능 손실 없이 모델 크기를 10배 압축한다. 결과적으로 이 모델은 Librispeech에서 정밀한 음성 인식 정확도를 유지하면서도 효율적인 온디바이스 추론을 가능하게 한다.

ABSTRACT

While significant improvements have been made in recent years in terms of end-to-end automatic speech recognition (ASR) performance, such improvements were obtained through the use of very large neural networks, unfit for embedded use on edge devices. That being said, in this paper, we work on simplifying and compressing Transformer-based encoder-decoder architectures for the end-to-end ASR task. We empirically introduce a more compact Speech-Transformer by investigating the impact of discarding particular modules on the performance of the model. Moreover, we evaluate reducing the numerical precision of our network's weights and activations while maintaining the performance of the full-precision model. Our experiments show that we can reduce the number of parameters of the full-precision model and then further compress the model 4x by fully quantizing to 8-bit fixed point precision.

연구 동기 및 목표

• 모델 크기와 계산 비용을 줄여 트랜스포머 기반의 엔드 투 엔드 음성 인식 시스템을 효율적으로 온디바이스에 구현하는 것.
• 디코더 측 컨볼루션과 위치 인코딩과 같은 특정 구성 요소를 제거했을 때 음성 인식 성능에 미치는 영향을 조사하는 것.
• 단순화된 트랜스포머를 8비트 고정점 정밀도로 완전히 양자화할 수 있는지 평가하는 것.
• 표준 벤치마크에서 최신 기술 수준의 인식 정확도를 유지하면서도 상당한 모델 압축을 달성하는 것.

제안 방법

• 저자들은 은닉 차원을 줄이고 디코더 측 1D 인과적 컨볼루션과 사인 함수 기반 위치 인코딩을 제거하여 트랜스포머를 단순화한다.
• 가중치와 활성화를 모두 후기 양자화하여 8비트 고정점 표현으로 변환한다.
• 특히 아키텍처 단순화 이후 수렴을 보장하기 위해 큰 배치 크기(80,000개의 오디오 프레임)로 학습을 수행한다.
• 양자화 이후 1,000단계에 걸쳐 활성화 클램핑 범위를 정밀 조정하여 열악한 출력을 방지한다.
• 최종 모델은 표준 트랜스포머 아키텍처를 사용하며 멀티헤드 자기주의 어텐션과 피드포워드 네트워크를 포함하지만, 용량이 감소하고 명시적 위치 인코딩이 없음.
• 양자화는 [21]과 유사한 방식을 사용하여 효율적인 추론 하드웨어와의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 디코더 측 컨볼루션과 위치 인코딩을 제거한 후에도 전체 정밀도 트랜스포머 음성 인식 모델의 성능을 유지할 수 있는가?
• RQ2 모델 크기를 아키텍처 단순화와 가중치/활성화 양자화를 통해 얼마나 줄일 수 있으며, 성능 손실 없이 가능한가?
• RQ3 단순화된 트랜스포머 아키텍처에 후기 8비트 양자화를 적용했을 때 음성 인식 정확도가 유지되는가?
• RQ4 중대한 아키텍처 및 정밀도 감소 이후 수렴과 안정적인 추론을 가능하게 하는 학습 전략이 존재하는가?

주요 결과

• 위치 인코딩과 디코더 컨볼루션 없이도 단순화된 모델이 전체 정밀도 음성 인식 성능을 유지함으로써, 순차적 디코더 아키텍처가 암묵적으로 위치 정보를 학습하고 있음을 시사한다.
• 후기 8비트 양자화로 단순화된 모델 대비 모델 크기를 4배 줄였으며, 원래 138M 파라미터 기준으로 총 10배 이상의 압축을 달성했다.
• 최종 완전히 양자화된 모델은 Librispeech dev-clean 셋에서 전체 정밀도 기준 모델과 비교해 유사한 단어 오류율을 기록했으며, 성능 저하가 측정되지 않았다.
• 모델 수렴을 위해 큰 배치 크기 학습(80,000 프레임)이 필요했으며, 양자화 이후 1,000단계에 걸친 활성화 클램핑 범위의 정밀 조정이 열악한 출력을 방지하기 위해 필수적이었다.
• 양자화 인식 학습이 없는 상태에서도 성능에 큰 영향을 주지 않으며, 후기 양자화 캘리브레이션을 통해 전체 정밀도 성능이 복원된다.