[논문 리뷰] Bridging the Gap Between Monaural Speech Enhancement and Recognition with Distortion-Independent Acoustic Modeling

Peidong Wang, Ke Tan외 1명|arXiv (Cornell University)|2019. 03. 11.

Speech and Audio Processing참고 문헌 32인용 수 4

한 줄 요약

이 논문은 단일 귀 음성 강화와 자동 음성 인식(ASR) 사이의 격차를 메우기 위해 왜곡에 독립적인 음성 모델링을 제안한다. 여기서 강화에 의해 유도되는 왜곡은 일반적으로 ASR 성능을 떨어뜨린다. 다양한 왜곡(소음, 반향, 강화 아티팩트 포함)으로 훈련된 음성 모델을 통해 새로운 왜곡에 일반화할 수 있으며, CHiME-2에서 9.2%의 최신 기술 수준(WER)을 달성하여 이전 시스템보다 상대적으로 6.5% 향상되었으며, 여러 강화 프론트엔드에서의 강건성도 입증하였다.

ABSTRACT

Monaural speech enhancement has made dramatic advances since the introduction of deep learning a few years ago. Although enhanced speech has been demonstrated to have better intelligibility and quality for human listeners, feeding it directly to automatic speech recognition (ASR) systems trained with noisy speech has not produced expected improvements in ASR performance. The lack of an enhancement benefit on recognition, or the gap between monaural speech enhancement and recognition, is often attributed to speech distortions introduced in the enhancement process. In this study, we analyze the distortion problem, compare different acoustic models, and investigate a distortion-independent training scheme for monaural speech recognition. Experimental results suggest that distortion-independent acoustic modeling is able to overcome the distortion problem. Such an acoustic model can also work with speech enhancement models different from the one used during training. Moreover, the models investigated in this paper outperform the previous best system on the CHiME-2 corpus.

연구 동기 및 목표

• 단일 귀 음성 강화와 ASR 사이의 지속적인 성능 격차를 해결하기 위해, 강화된 음성이 인식 성능 향상에 실패하는 이유는 왜곡 때문이라는 점을 다루는 것.
• 다양한 왜곡에 대해 불변성을 갖도록 훈련된 음성 모델이 훈련 중에 볼 수 없었던 강화 아티팩트로 일반화할 수 있는지 조사하는 것.
• 다양한 음성 강화 프론트엔드와 노이즈 조건에서 왜곡에 독립적인 음성 모델링의 효과를 평가하는 것.
• 특히 반향성 및 노이즈가 많은 환경에서 CHiME-2 벤치마크에서 이전 시스템을 능가하는 성능을 달성하는 것.
• 다양한 왜곡에 대해 대규모 훈련을 통해 새로운 왜곡(다른 강화 모델에서 유래한 것 포함)으로의 일반화가 가능하다는 것을 입증하는 것.

제안 방법

• 10,000종의 다양한 노이즈 유형(추가성 노이즈, 반향(RIRs), 강화 아티팩트 포함)으로 오염된 음성의 대규모 데이터셋을 활용해 음성 모델을 훈련한다.
• 모든 왜곡을 훈련 분포의 일부로 간주하여 청소된 음성이나 특정 강화 출력에 의존하지 않는 왜곡에 독립적인 음성 모델링 방법을 도입한다.
• 문장 수준의 변동성에 대한 일반화 및 강건성을 향상시키기 위해 훈련 중에 문장 단위의 순환 드롭아웃을 사용한다.
• 노이즈에 독립적, 반향에 독립적, 왜곡에 독립적 등 다양한 유형의 음성 모델 5종을 다양한 강화 조건에서 비교한다.
• CHiME-2 및 ADT 데이터셋에서 LSTM, CRN, IRM 등의 여러 강화 프론트엔드를 사용하여 WER를 주요 평가 지표로 모델을 평가한다.
• 사용자 적응을 명시적으로 방지하여, 왜곡에 대한 강건성의 영향이 음성 인식 성능에 미치는 영향을 분리하여 고립한다.

실험 결과

연구 질문

• RQ1 다양한 왜곡에 대해 불변성을 갖도록 훈련된 음성 모델이 훈련 중에 볼 수 없었던 강화에 기인한 왜곡으로 일반화할 수 있는가?
• RQ2 강화된 음성과 함께 사용할 때, 기존의 노이즈 또는 반향에 의존하는 모델보다 왜곡에 독립적인 음성 모델링이 ASR에서 더 우수한 성능을 내는가?
• RQ3 단일 왜곡에 독립적인 음성 모델이 훈련 시 사용된 모델과 다른 강화 모델을 사용하는 여러 강화 프론트엔드와도 효과적으로 작동할 수 있는가?
• RQ4 다양한 왜곡에 대해 대규모 훈련을 통해 실세계 ASR 환경에서 훈련되지 않은 왜곡으로의 일반화가 얼마나 향상되는가?
• RQ5 CHiME-2 벤치마크에서 왜곡에 독립적인 모델링의 성능은 이전 최신 기술 수준의 시스템과 비교해 어떻게 되는가?

주요 결과

• 왜곡에 독립적인 음성 모델은 CHiME-2 코퍼스에서 평균 WER 9.2%를 달성하여 이전 최고 성능 시스템보다 상대적으로 6.5% 향상되었다.
• 노이즈에 의존하는 음성 모델은 평균 WER 8.7%를 기록하여 역시 이전 최신 기술 수준의 시스템을 초월하였다.
• 9dB 및 3dB SNR 조건에서, 왜곡에 독립적인 모델을 사용한 강화된 음성은 강화되지 않은 음성보다 더 낮은 WER를 기록하여, 강건한 음성 모델링과 결합된 강화의 이점이 확인되었다.
• 왜곡에 독립적인 모델은 LSTM, CRN, IRM 등의 다양한 강화 프론트엔드에서 잘 작동하여, 다양한 종류의 강화 아티팩트로의 일반화 능력을 보였다.
• 훈련되지 않은 왜곡, 예를 들어 RIR 불일치나 새로운 강화 방법 등에도 일반화가 가능하여 강력한 강건성을 입증하였다.
• 반향성 음성에서 평균 WER 3.4%를 기록함으로써, 왜곡 불변 훈련이 도전적인 음향 조건에서도 효과적인 인식을 가능하게 한다는 점을 보여주었다.