[논문 리뷰] Perceptual Loss with Recognition Model for Single-Channel Enhancement and Robust ASR

Peter Plantinga, Deblin Bagchi외 1명|arXiv (Cornell University)|2021. 12. 11.

Speech and Audio Processing인용 수 8

한 줄 요약

이 논문은 단일 채널 음성 향상에서 강건한 자동 음성 인식(ASR)을 향상시키기 위해 사전 훈련된 음성 모델 기반의 지각 손실을 제안한다. 원시 스펙트럼 에너지 대신 발음 구조 인식을 활용함으로써, 왜곡을 줄이면서도 최신 기술 수준의 향상 점수를 유지하며, Voicebank+DEMAND에서 2.80% WER를 달성한다—통합 훈련 대비 20% 이상 상대적 향상과 왜곡 독립적 훈련 대비 14% 상대적 향상이다.

ABSTRACT

Single-channel speech enhancement approaches do not always improve automatic recognition rates in the presence of noise, because they can introduce distortions unhelpful for recognition. Following a trend towards end-to-end training of sequential neural network models, several research groups have addressed this problem with joint training of front-end enhancement module with back-end recognition module. While this approach ensures enhancement outputs are helpful for recognition, the enhancement model can overfit to the training data, weakening the recognition model in the presence of unseen noise. To address this, we used a pre-trained acoustic model to generate a perceptual loss that makes speech enhancement more aware of the phonetic properties of the signal. This approach keeps some benefits of joint training, while alleviating the overfitting problem. Experiments on Voicebank + DEMAND dataset for enhancement show that this approach achieves a new state of the art for some objective enhancement scores. In combination with distortion-independent training, our approach gets a WER of 2.80\% on the test set, which is more than 20\% relative better recognition performance than joint training, and 14\% relative better than distortion-independent mask training.

연구 동기 및 목표

• 통합 음성 향상 및 ASR 훈련에서 발생하는 왜곡 문제를 해결하기 위해, 향상 모델이 훈련 데이터에 과적합되어 인식에 도움이 되지 않는 왜곡을 유발하는 것을 방지한다.
• 완전한 통합 훈련 없이도 ASR를 위한 음성 향상을 향상시키며, 모듈성을 유지하면서도 인식 성능을 유지는 한다.
• 발음 구조 기반의 지각 손실이 기존의 스펙트럼 손실 또는 L1 손실보다 저에너지 음소를 향상시키고 인식 정확도를 향상시키는 데 더 우수한지 조사한다.
• 공개된 데이터셋을 사용해 SpeechBrain 호환 레시피와 사전 훈련된 모델을 공개함으로써 방법의 일반성과 재현 가능성을 입증한다.
• 공개된 데이터셋에서 지각 손실 훈련을 통합 훈련 및 왜곡 독립적 훈련과 직접 비교한다.

제안 방법

• 이 방법은 사전 훈련된 음성 모델을 사용해 지각 손실을 생성하여, 향상 네트워크가 발음 내용을 유지하는 출력을 생성하도록 이끌며, 특히 저에너지 음소에 대해 유의미하다.
• 지각 손실은 사전 훈련된 음성 모델의 은닉층 활성화 값 간의 L1 거리로 계산되며, 청소된 음성과 향상된 음성 간의 유사성을 유지하도록 향상 네트워크를 유도한다.
• 이 지각 손실과 표준 L1 스펙트럼 크기 손실을 조합한 하이브리드 손실을 사용해, 지각 적합성과 신호 재구성 간의 균형을 맞춘다.
• 이 방법은 목표 향상 지표와 노이즈가 있는 데이터로 훈련된 인식 모델을 사용해 Voicebank+DEMAND 데이터셋에서 평가된다.
• 지각 모델에서 局부적 문맥 창을 사용한 변형이 탐색되었으며, 이는 성능 향상을 보이고 CHiME-2에서 최신 기술 수준의 성능을 달성한다.
• 이 방법은 SpeechBrain 툴킷에 구현되었으며, 재현 가능성과 재사용을 위해 공개된 레시피와 사전 훈련된 모델을 제공한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 음성 모델을 사용해 지각 손실을 생성함으로써 통합 훈련 또는 왜곡 독립적 훈련 대비 강건한 ASR를 위한 음성 향상 성능이 향상되는가?
• RQ2 지각 손실은 저에너지 음소에 대해 고에너지 음소보다 어떻게 영향을 미치는가?
• RQ3 발음 구조 기반의 지각 손실이 인식 성능을 해치는 왜곡을 유발하는 향상 네트워크를 줄일 수 있는가?
• RQ4 지각 모델의 아키텍처 선택(예: 문맥 크기, 입력 유형) 중에서 향상 품질과 인식 정확도에 가장 큰 영향을 미치는 요소는 무엇인가?
• RQ5 제안된 방법이 목표 향상 지표와 종단 간 ASR 성능 양쪽에서 최신 기술 수준의 성능을 달성하면서도 모듈성과 재현 가능성을 유지할 수 있는가?

주요 결과

• 제안된 지각 손실 방법은 Voicebank+DEMAND 데이터셋에서 테스트 WER 2.80%를 달성하여 통합 훈련 대비 20% 이상 상대적 향상과 왜곡 독립적 훈련 대비 14% 상대적 향상이다.
• 이 방법은 Voicebank+DEMAND에서 최신 기술 수준의 목표 향상 점수를 기록하며, CSIG 4.40, COVL 3.75, CBAK 3.52를 기록하여 대부분의 이전 방법보다 지각적으로 중요한 지표에서 뛰어난 성능을 보였다.
• 지각 손실은 저에너지 음소를 보존하는 데 특히 효과적이며, 이는 손실이 에너지 차이가 아닌 발음 구조에 초점을 맞추기 때문이다. 기존의 스펙트럼 손실은 종종 이러한 에너지 차이를 왜곡한다.
• 지각 모델에서 局부적 문맥 창을 사용한 결과 성능 향상이 있었으며, CHiME-2에서 현재 최신 기술 수준의 인식 점수를 달성하여 방법의 강건성과 적응 가능성도 입증했다.
• 인식 모델이 노이즈가 있는 데이터로만 훈련된 경우에도 지각 손실을 추가함으로써 테스트 세트에서 WER가 3.43%에서 3.34%로 향상되었으며, 이는 향상된 출력의 왜곡이 감소했음을 시사한다.
• 이 방법은 통합 훈련에서 흔히 발생하는 과적합 문제를 피하면서도, 향상과 인식 훈련을 분리함으로써 여전히 인식 우호적인 출력을 향상 네트워크가 유도하도록 유도한다.