[논문 리뷰] Frustratingly Easy Noise-aware Training of Acoustic Models

Desh Raj, Jesús Villalba외 2명|arXiv (Cornell University)|2020. 11. 04.

Speech Recognition and Synthesis참고 문헌 28인용 수 4

한 줄 요약

이 논문은 기존의 GMM-HMM 정렬을 활용하여 음성 및 침묵 프레임의 평균에서 유도된 문장 수준의 노이즈 벡터를 사용함으로써, 추가 계산 없이도 단순하면서도 효과적인 노이즈 인식 훈련 방법을 제안한다. 이 방법은 AMI 및 Aurora-4 데이터셋에서 기존 모델 대비 6–7% 상대적 WER 향상을 달성하며, 이는 이전의 임베딩 기반 베이스라인을 능가하며, 노이즈 벡터의 フ레임 단위 최대우도 추정을 통한 온라인 스트리밍 ASR를 가능하게 한다.

ABSTRACT

Environmental noises and reverberation have a detrimental effect on the performance of automatic speech recognition (ASR) systems. Multi-condition training of neural network-based acoustic models is used to deal with this problem, but it requires many-folds data augmentation, resulting in increased training time. In this paper, we propose utterance-level noise vectors for noise-aware training of acoustic models in hybrid ASR. Our noise vectors are obtained by combining the means of speech frames and silence frames in the utterance, where the speech/silence labels may be obtained from a GMM-HMM model trained for ASR alignments, such that no extra computation is required beyond averaging of feature vectors. We show through experiments on AMI and Aurora-4 that this simple adaptation technique can result in 6-7% relative WER improvement. We implement several embedding-based adaptation baselines proposed in literature, and show that our method outperforms them on both the datasets. Finally, we extend our method to the online ASR setting by using frame-level maximum likelihood for the mean estimation.

연구 동기 및 목표

• 훈련 복잡도를 증가시키지 않으면서도, DNN 기반 음성 모델의 노이즈 환경에서의 강건성을 향상시키는 것.
• 기존의 GMM-HMM 정렬을 재사용하여, 저비용이고 효과적인 노이즈 인식 훈련 기법을 개발하는 것.
• 프레임 단위 최대우도 추정을 통해 실시간 노이즈 벡터 추정을 도출하여, 온라인 스트리밍 ASR를 가능하게 하는 것.
• i-벡터 및 e-벡터와 같은 기존의 임베딩 기반 적응 방법을 뛰어넘는 노이즈 강건성 ASR 성능을 달성하는 것.

제안 방법

• 사전에 훈련된 GMM-HMM 정렬에서 유도된 SAD 레이블을 사용하여, 문장 내 음성 프레임과 침묵 프레임의 평균을 통해 노이즈 벡터를 계산한다.
• 이 노이즈 벡터를 입력 특징에 추가함으로써, DNN가 노이즈 강건성을 위한 비선형 변환을 학습할 수 있도록 한다.
• 온라인 ASR를 위해, 스트리밍 프레임에 대한 최대우도 추정을 통해 노이즈 벡터 평균을 확률 모델을 사용해 추정한다.
• 음성 및 노이즈 성분의 스케일링 요소는 EM 최적화를 통해 학습하며, 프레임이 관측되지 않을 경우 전역 통계나 기본값으로 초기화한다.
• 프론트엔드 신호 처리를 피하고, 구조적 입력 조건화를 통해 노이즈 인식을 직접 음성 모델에 통합한다.
• 동일한 정렬을 음성 모델 훈련에 사용함으로써, 레이티스-프리 MMI와 같은 순서 구분 훈련 기준과도 호환된다.

실험 결과

연구 질문

• RQ1 음성 및 침묵 프레임 평균에서 유도된 단순하고 계산 비용이 낮은 노이즈 벡터가 음성 모델의 강건성을 향상시킬 수 있는가?
• RQ2 이 노이즈 인식 훈련 방법이 i-벡터 및 e-벡터와 같은 기존의 임베딩 기반 적응 방법을 능가하는가?
• RQ3 완전한 문장이 완료되기 전까지 기다리지 않고도 노이즈 벡터 추정을 온라인 스트리밍 ASR에 적응시킬 수 있는가?
• RQ4 이 방법의 성능은 광범위한 데이터 증강을 포함한 다조건 훈련과 비교해 어떻게 되는가?

주요 결과

• 제안된 방법은 기준 모델 대비 AMI 및 Aurora-4 데이터셋에서 6–7% 상대적 WER 향상을 달성한다.
• i-벡터 및 e-벡터와 같은 확립된 기준 모델을 뛰어넘어, 환경 왜곡에 대한 일반화 능력이 뛰어나 노이즈 강건성 ASR에서 뛰어난 성능을 보인다.
• 음성 및 침묵 프레임 평균을 사용한 노이즈 벡터 추정은 이전 방법들이 시작/끝 프레임만을 사용하는 것보다 더 정보가 풍부한 노이즈 표현을 제공한다.
• 프레임 단위 최대우도 추정을 사용한 온라인 적응 버전은 최소한의 지연으로 실시간 노이즈 인식 추론을 가능하게 한다.
• 표준 GMM-HMM 정렬 외에 추가 계산 비용이 발생하지 않아, 대규모 배포에 실용적이다.