[논문 리뷰] Improving Noise Robustness of an End-to-End Neural Model for Automatic Speech Recognition

Jagadeesh Balam, Jocelyn Huang외 4명|arXiv (Cornell University)|2020. 10. 23.

Speech Recognition and Synthesis참고 문헌 23인용 수 5

한 줄 요약

이 논문은 복잡한 데이터 증강(반사, 배경 잡음, 저비트레이트 코덱 포함)을 통해 미세조정하여, 청청 음성 성능을 저하시키지 않은 채 노이즈에 강건한 엔드 투 엔드 ASR 모델을 개선한다. 이 방법은 원거리 음성, 혼합 샘플링 속도, 저비트레이트 코덱을 포함한 다양한 노이즈 조건에서 상당한 WER 감소를 달성하며, NeMo에서 오픈소스 모델과 훈련 레시피를 제공한다.

ABSTRACT

We present our experiments in training robust to noise an end-to-end automatic speech recognition (ASR) model using intensive data augmentation. We explore the efficacy of fine-tuning a pre-trained model to improve noise robustness, and we find it to be a very efficient way to train for various noisy conditions, especially when the conditions in which the model will be used, are unknown. Starting with a model trained on clean data helps establish baseline performance on clean speech. We carefully fine-tune this model to both maintain the performance on clean speech, and improve the model accuracy in noisy conditions. With this schema, we trained robust to noise English and Mandarin ASR models on large public corpora. All described models and training recipes are open sourced in NeMo, a toolkit for conversational AI.

연구 동기 및 목표

• 다양한 실제 음향 조건에서 일반화 가능한 노이즈에 강건한 엔드 투 엔드 ASR 모델을 개발하기 위해.
• 노이즈가 많고 신호 대 잡음비(SNR)가 낮으며 비트레이트가 낮은 조건에서 성능을 향상시키면서도 청청 음성에서의 높은 정확도를 유지하기 위해.
• 온라인 데이터 증강을 통한 미세조정이 노이즈에 강건한 성능 향상에 효율적이고 확장 가능한 방법임을 입증하기 위해.
• 공개 데이터셋을 기반으로 훈련된 영어 및 중국어용 대규모 오픈소스 ASR 모델을 제공하기 위해.

제안 방법

• LibriSpeech, Common Voice, WSJ, Fisher, Switchboard, AISHELL-2와 같은 대규모 청청 음성 데이터셋을 기반으로 엔드 투 엔드 ASR 모델(QuartzNet)을 사전 훈련한다.
• 랜덤 확률 $ P_{aug} $ 를 사용하여 온라인 데이터 증강을 통한 미세조정을 수행하며, 다양한 신호 대 잡음비(SNR)에서 반사, 전경 및 배경 잡음을 적용한다.
• 저비트레이트(예: 4.75–7.4 kbps 및 25–48 kbps)에서 AMR-NB와 Ogg Vorbis 코덱을 사용하여 코덱 증강을 적용하여 통신 및 대역폭 제약 조건을 시뮬레이션한다.
• OpenSLR 및 BUT ReverbDB에서 확보한 실제 및 시뮬레이션된 방 음향 반응(RIR)을 사용하여 미세조정 중 원거리 음성 조건을 모델링한다.
• 초기화 가능한 하이퍼파라미터를 통해 증강 강도를 제어한다: RIR 적용 확률 $ P_{rir} $ 과 전경 잡음의 경우 0–30 dB, 배경 잡음의 경우 10–40 dB의 SNR 범위.
• 최적의 $ P_{aug} $ 는 0.3에서 0.5 사이로, 청청 성능과 노이즈에 강건한 성능 간의 균형을 잘 유지한다.

실험 결과

연구 질문

• RQ1 심한 데이터 증강을 통한 미세조정이 청청 음성 성능을 저하시키지 않으면서도 다양한 노이즈 조건에서 엔드 투 엔드 ASR의 강건성을 향상시킬 수 있는가?
• RQ2 증강 확률 $ P_{aug} $ 의 선택이 청청 음성과 노이즈 있는 음성 정확도 사이의 상충 관계에 어떤 영향을 미치는가?
• RQ3 다양한 증강을 통한 미세조정을 거친 단일 모델이 원거리 음성, 혼합 샘플링 속도, 저비트레이트 코덱 조건에서 효과적으로 일반화될 수 있는가?
• RQ4 VOiCES 코퍼스의 실제 노이즈 소스를 테스트할 경우, 모델이 성능을 얼마나 잘 유지하는가?

주요 결과

• 노이즈에 강건한 모델(QN-En-NR)은 기본 모델 대비 D105 원거리 음성 테스트 세트에서 상대적 WER 감소율 66%를 달성했으며, 청청 테스트 세트에서는 단지 3.1%의 절대 WER 증가를 보였다.
• $ P_{aug} = 0.3 $ 일 때, 모델은 LibriSpeech test-clean에서 WER 3.86%를 유지하면서도 노이즈 있는 조건에서 기본 모델 대비 최대 40%의 WER 감소를 기록했다.
• 8 kHz 오디오에서, 중국어 모델의 WER는 혼합 샘플링 속도 증강을 통한 미세조정 후 12.35%에서 7.48%로 감소하여 대역폭 감소에 대한 강력한 강건성을 보였다.
• 저신호 대 잡음비(SNR) 조건에서도 노이즈에 강건한 모델은 일관된 성능 향상을 보였다: 8 kHz 노이즈가 첨가된 Hub5 SWB에서, 4.75 kbps AMR-NB 코덱 조건에서 WER는 14.0%에서 13.1%로 감소했다.
• VOiCES 노이즈를 0 dB SNR 조건에서 LibriSpeech test-clean에서 테스트한 결과, 노이즈에 강건한 모델은 기준 모델 대비 4.56%의 WER를 기록하여 저신호 대 잡음비 조건에서의 강건성이 향상됨을 입증했다.
• 모델을 $ P_{aug} = 1 $ 로 훈련한 경우, test-clean에서 WER가 급격히 증가(72.91%)하여 과도한 증강이 청청 성능에 악영향을 미친다는 점을 확인했으며, 최적의 $ P_{aug} $ 는 약 0.3–0.5 사이임을 증명했다.