[논문 리뷰] Joint Training of Speech Enhancement and Self-supervised Model for Noise-robust ASR

Qiushi Zhu, Jie Zhang외 2명|arXiv (Cornell University)|2022. 05. 26.

Speech and Audio Processing인용 수 8

한 줄 요약

이 논문은 소음에 강한 음성 인식(ASR)을 위한 동시에 음성 강화(SE)와 자기지도 학습 표현 학습(예: wav2vec2.0)을 최적화하는 통합 사전 훈련 프레임워크를 제안한다. 이중 주의 퓨전 모듈을 사용해 노이즈가 있는 웨이브폼과 향상된 출력을 동시에 훈련함으로써 음성 왜곡을 감소시키고, 실제 노이즈가 있는 데이터셋에서 검증 시 8.2, 테스트 시 14.3의 최신 기술 수준(WER)을 달성한다. 이는 이전 방법들, 특히 정교한 초기화가 필요한 방법들보다 뛰어난 성능을 보인다.

ABSTRACT

Speech enhancement (SE) is usually required as a front end to improve the speech quality in noisy environments, while the enhanced speech might not be optimal for automatic speech recognition (ASR) systems due to speech distortion. On the other hand, it was shown that self-supervised pre-training enables the utilization of a large amount of unlabeled noisy data, which is rather beneficial for the noise robustness of ASR. However, the potential of the (optimal) integration of SE and self-supervised pre-training still remains unclear. In order to find an appropriate combination and reduce the impact of speech distortion caused by SE, in this paper we therefore propose a joint pre-training approach for the SE module and the self-supervised model. First, in the pre-training phase the original noisy waveform or the waveform obtained by SE is fed into the self-supervised model to learn the contextual representation, where the quantified clean speech acts as the target. Second, we propose a dual-attention fusion method to fuse the features of noisy and enhanced speeches, which can compensate the information loss caused by separately using individual modules. Due to the flexible exploitation of clean/noisy/enhanced branches, the proposed method turns out to be a generalization of some existing noise-robust ASR models, e.g., enhanced wav2vec2.0. Finally, experimental results on both synthetic and real noisy datasets show that the proposed joint training approach can improve the ASR performance under various noisy settings, leading to a stronger noise robustness.

연구 동기 및 목표

• 노이즈 환경에서 음성 왜곡으로 인해 발생하는 음성 강화(SE)와 자동 음성 인식(ASR) 간의 불일치 문제를 해결한다.
• SE와 자기지도 학습 모델을 별도로 훈련하는 대신 통합적으로 사전 훈련하여 ASR의 노이즈에 대한 강건성을 향상시킨다.
• 효과적인 훈련을 위해 랜덤 가중치에서 시작할 수 있도록 모델 초기화에 대한 의존도를 줄인다.
• 노이즈가 있는, 향상된, 청소된 음성 브랜치 간의 정보 융합을 촉진하여 왜곡을 완화하고 ASR 성능을 향상시킨다.
• 다양한 입력 브랜치(노이즈, 향상, 청소)를 영리하게 활용할 수 있도록 기존의 노이즈에 강한 ASR 모델을 일반화한다.

제안 방법

• 원본 노이즈가 있는 웨이브폼과 SE로 향상된 웨이브폼을 입력으로 사용하여 자기지도 모델(예: wav2vec2.0)을 통합적으로 사전 훈련하며, 대조 학습을 위한 양자화된 청소된 음성 신호를 타겟으로 삼는다.
• 노이즈가 있는 음성 브랜치와 향상된 음성 브랜치의 특징을 융합하기 위해 이중 주의 퓨전 모듈을 도입하여, 상호 주의를 통해 정보 손실을 보완한다.
• 비정형 데이터에서 이산 음성 단위를 학습하기 위해 벡터 양자화(VQ) 연산을 적용하여 노이즈 조건에서의 표현 품질을 향상시킨다.
• 청소된 음성 특징과 노이즈가 있는 음성 특징 간의 일관성 손실을 도입하여 표현을 정렬하고 노이즈에 대한 강건성을 향상시킨다.
• SE 모듈을 자기지도 모델과 함께 통합된 목표 함수를 사용해 엔드 투 엔드로 훈련함으로써, 별도의 최적화 과정이 왜곡을 유발하는 것을 방지한다.
• 전체 모델의 랜덤 초기화를 허용하며, 최적화 이론을 활용해 수렴성과 왜곡 감소를 검증한다.

실험 결과

연구 질문

• RQ1 SE와 자기지도 학습 모델의 통합 사전 훈련이 노이즈 환경에서 음성 왜곡을 줄이고 ASR 성능을 향상시킬 수 있는가?
• RQ2 노이즈가 있는 음성과 향상된 음성 특징의 이중 주의 퓨전은 단독으로 사용하는 각 브랜치보다 ASR 강건성에서 더 우수한가?
• RQ3 기존의 방법들과 달리, 제안된 방법은 정교한 초기화 없이도 강력한 성능을 유지하는가?
• RQ4 VQ 연산과 청소된 음성 및 노이즈가 있는 음성 특징 간 일관성 손실의 포함이 실제 노이즈 환경에서의 노이즈 강건성 향상에 어느 정도 기여하는가?
• RQ5 이러한 통합 프레임워크는 기존의 노이즈에 강한 ASR 모델(예: 향상된 wav2vec2.0)에 일반화될 수 있는가?

주요 결과

• 제안된 방법은 dt05_real 검증 세트에서 WER 8.2, et05_real 테스트 세트에서 WER 14.3을 달성하여 기준 모델 EW2(9.4 및 15.6) 대비 약 10% 상대적 향상률을 기록한다.
• Transformer 기반 언어 모델을 사용할 경우에도 제안된 방법은 일관된 성능 향상을 유지하며, 외부 언어 모델 통합 시에도 통합 훈련의 효과를 입증한다.
• 복잡한 데이터 증강이나 보조 처리 없이도, [15] (WER 3.5/6.8) 및 [40] (WER 2.8/5.8)와 같은 최신 기술 수준의 지도 학습 방법을 초월하는 경쟁력 있는 성능을 달성한다.
• 기존의 방법들과 달리, 모델은 랜덤 초기화 상태에서 강력한 성능 유지를 보이며, 성능 저하가 최소한이 된다.
• 이중 주의 퓨전 모듈은 합성 및 실제 노이즈가 있는 데이터 세트에서 WER 향상으로써 정보 손실과 음성 왜곡을 효과적으로 감소시킨다.
• VQ 연산과 청소된 음성 및 노이즈가 있는 음성 특징 간 일관성 손실의 포함은 실제 노이즈 환경에서의 노이즈 강건성 향상에 상당한 기여를 한다.