[논문 리뷰] Efficient Speech Representation Learning with Low-Bit Quantization

Ching-Feng Yeh, Wei-Ning Hsu외 2명|arXiv (Cornell University)|2022. 12. 14.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

이 논문은 저비트 양자화를 통해 효율적인 음성 표현 학습을 제안하며, Robustly Binarized Transformer (BiT)와 압축된 가중치 양자화를 HuBERT 모델에 적용한다. 1비트 양자화를 통해 모델 크기를 86.32% 줄였고(184.42→25.23 MB), 런타임도 88% 감소시켰다(1.00→0.12). 2비트 설정에서 DistillHuBERT보다 효율성과 정확도 면에서 뛰어난 성능을 기록한다.

ABSTRACT

With the development of hardware for machine learning, newer models often come at the cost of both increased sizes and computational complexity. In effort to improve the efficiency for these models, we apply and investigate recent quantization techniques on speech representation learning models. The quantization techniques were evaluated on the SUPERB benchmark. On the ASR task, with aggressive quantization to 1 bit, we achieved 86.32% storage reduction (184.42 -> 25.23), 88% estimated runtime reduction (1.00 -> 0.12) with increased word error rate (7.06 -> 15.96). In comparison with DistillHuBERT which also aims for model compression, the 2-bit configuration yielded slightly smaller storage (35.84 vs. 46.98), better word error rate (12.68 vs. 13.37) and more efficient estimated runtime (0.15 vs. 0.73).

연구 동기 및 목표

• 모델 저장 용량과 계산 비용을 줄이기 위해 저비트 양자화 기법을 적용하여 음성 표현 학습의 모델 효율성을 향상시키기.
• 특히 엣지 배포를 고려할 때 극단적인 양자화에서 성능 저하와 효율성 간의 상호 상관 관계를 조사하기.
• 특히 이진화를 포함한 양자화가 기존의 압축 기법(예: 지식 정복)보다 더 나은 효율성을 달성할 수 있는지 평가하기.
• 저비트 양자화 과정에서 성능 손실를 완화하는 데 양자화 인식 훈련(QAT)과 지식 정복의 효과를 규명하기.
• 극도의 저비트 압축 중 성능 저하를 최소화하기 위해 일괄적 양자화 대비 스케줄링된 양자화 전략의 효과 비교하기

제안 방법

• 직접적인 기울기 역전파를 가능하게 하기 위해 직선 추정기(Stealth Through Estimator, STE)를 사용한 양자화 인식 훈련(QAT)을 적용하여 이산적 양자화 연산을 통한 기울기 전파를 가능하게 하였다.
• 무거운 이진화된 트랜스포머(BiT)를 사용하여 가중치와 활성화를 모두 1비트로 양자화하여 정수 전용 하드웨어에서의 효율적 추론을 가능하게 하였다.
• 저정밀도 환경에서 기울기 소실 문제를 줄이고 훈련 안정성을 향상시키기 위해 압축된 가중치 양자화를 적용하였다.
• 완전 정밀도 HuBERT 모델에서 양자화된 모델로 지식을 전달하기 위해 지식 정복을 통합하여 중간층 및 출력 차이를 최소화하였다.
• 일괄적 양자화(FP16 → 목표 비트)와 다단계 중간 정밀도를 거쳐 목표 비트로 감소시키는 스케줄링된 양자화를 비교하여 훈련 안정성 평가를 수행하였다.
• SUPERB 벤치마크에서 모델을 평가하여 ASR 및 기타 음성 작업에서 저장 용량, 런타임, 단어 오류율(WER) 측정하였다.

실험 결과

연구 질문

• RQ1 극도의 1비트 양자화가 성능 저하를 크게 유발하지 않으면서도 음성 표현 모델의 저장 용량과 런타임을 크게 줄일 수 있는가?
• RQ2 기존의 모델 압축 기법(예: DistillHuBERT)과 비교했을 때 저비트 양자화는 모델 크기, 추론 속도, ASR 정확도 측면에서 어떻게 다른가?
• RQ3 지식 정복이 중간층 표현을 정렬함으로써 양자화된 모델의 성능 저하를 효과적으로 줄일 수 있는가?
• RQ4 극도의 저비트 압축 중 정확도 유지 측면에서 스케줄링된 양자화(다단계 감소)가 일괄적 양자화보다 더 효과적인가?
• RQ5 QAT와 STE, 압축된 가중치 양자화의 조합이 이진화된 음성 모델의 강건성에 어떤 영향을 미치는가?

주요 결과

• 1비트 양자화로 HuBERT 모델의 저장 용량을 184.42 MB에서 25.23 MB로 줄여 86.32%의 저장 용량 절감을 달성하였다.
• 런타임은 1.00에서 0.12로 88% 감소하여 1비트 양자화로 인해 뚜렷한 추론 속도 향상을 보였다.
• 2비트 BiT-LA-w2a2 모델은 단어 오류율(WER) 12.68%를 기록하여 유사한 모델 크기에서 DistillHuBERT(13.37)를 초월하였다.
• 2비트 BiT-LA-w2a2 모델은 35.84 MB의 저장 용량을 사용하여 DistillHuBERT의 46.98 MB보다 작았고, 추론 속도도 빠르게(0.15 vs. 0.73) 기록하였다.
• 지식 정복은 양자화된 모델의 성능을 크게 향상시켜 1비트에서 WER를 HuBERT 손실 시 18.93에서 지식 정복 적용 후 15.96으로 낮추었다.
• 스케줄링된 양자화가 일괄적 양자화보다 유의미한 성능 향상을 이끌어내지 못하여, 직접 목표 비트로의 양자화가 충분히 효과적임을 시사하였다.