[논문 리뷰] Closing the Gap Between Time-Domain Multi-Channel Speech Enhancement on Real and Simulation Conditions

Wangyou Zhang, Jing Shi외 3명|arXiv (Cornell University)|2021. 10. 27.

Speech and Audio Processing인용 수 5

한 줄 요약

이 논문은 시간 도메인 다중채널 음성 강화에서 시뮬레이션 조건과 실제 환경 간의 성능 격차를 해결하기 위해 다중채널 Conv-TasNet을 비음향 기반 프레임워크에 통합하고 자동 음성 인식(ASR) 모델과 함께 공동 학습하는 Beam-TasNet을 제안한다. 제안된 방법은 실제 CHiME-4 데이터에서 단어 오류율(WER)을 42% 이상 감소시키면서도 강력한 음성 강화 성능을 유지한다.

ABSTRACT

The deep learning based time-domain models, e.g. Conv-TasNet, have shown great potential in both single-channel and multi-channel speech enhancement. However, many experiments on the time-domain speech enhancement model are done in simulated conditions, and it is not well studied whether the good performance can generalize to real-world scenarios. In this paper, we aim to provide an insightful investigation of applying multi-channel Conv-TasNet based speech enhancement to both simulation and real data. Our preliminary experiments show a large performance gap between the two conditions in terms of the ASR performance. Several approaches are applied to close this gap, including the integration of multi-channel Conv-TasNet into the beamforming model with various strategies, and the joint training of speech enhancement and speech recognition models. Our experiments on the CHiME-4 corpus show that our proposed approaches can greatly reduce the speech recognition performance discrepancy between simulation and real data, while preserving the strong speech enhancement capability in the frontend.

연구 동기 및 목표

• 시간 도메인 모델을 사용하여 시뮬레이션 조건과 실제 환경 간의 다중채널 음성 강화 성능 격차를 조사한다.
• 기준 신호가 가용하지 않은 실제 환경에서 다중채널 Conv-TasNet(MC-Conv-TasNet)의 강인성을 향상시킨다.
• 시뮬레이션과 실제 데이터 간 자동 음성 인식(ASR) 성능의 격차를 줄인다.
• MC-Conv-TasNet과 비음향 기반 기반의 통합 전략을 탐색하여 일반화 능력을 향상시킨다.
• ASR 모델과의 공동 학습이 실제 환경에서의 일반화 능력을 향상시키는 데 기여하는지를 평가한다.

제안 방법

• MC-Conv-TasNet 출력에서 공분산 행렬을 추정하여 MVDR 비음향 기반 기반과 MC-Conv-TasNet을 통합하고, 원본 다중채널 입력에 대해 비음향 기반 기반을 적용한다.
• 신호 기반(sig-MVDR)과 마스크 기반(mask-MVDR)의 두 가지 통합 전략을 탐색하며, VAD 유사 1D 마스크가 PSM보다 우수한 성능을 보였다.
• 채널 회전 증강을 통해 MC-Conv-TasNet*을 채널 인식 방식으로 학습시켜 다중채널 강화 출력을 가능하게 한다.
• 시뮬레이션 및 실제 데이터를 모두 사용하여 미리 학습된 MC-Conv-TasNet과 엔드 투 엔드 ASR 모델을 공동 미세조정한다.
• CHiME-4 코퍼스를 평가에 사용하며, WER을 주요 지표로 삼아 시뮬레이션 및 실제 테스트 세트에서의 성능을 비교한다.
• 스펙트로그램 시각화를 통해 다양한 모델 간의 강화 품질을 정성적으로 비교한다.

실험 결과

연구 질문

• RQ1 시뮬레이션 데이터에서 학습된 MC-Conv-TasNet과 Beam-TasNet이 실제 노이즈가 많고 리버버버런트 환경에서 효과적으로 일반화되는가?
• RQ2 MC-Conv-TasNet을 MVDR 비음향 기반 기반과 통합할 경우 실제 데이터에서 ASR 성능에 어떤 영향을 미치는가?
• RQ3 마스크 기반 비음향 기반 기반에서 VAD 유사 1D 마스크와 PSM을 사용할 경우의 영향은 무엇인가?
• RQ4 MC-Conv-TasNet과 ASR 모델의 공동 학습이 시뮬레이션에서 실제 성능 격차를 줄이는 데 기여하는가?
• RQ5 다양한 통합 전략이 음성 강화 품질과 ASR 강인성 간의 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• 제안된 마스크 기반 MVDR 비음향 기반 기반 통합을 통해 Beam-TasNet은 실제 CHiME-4 테스트 데이터에서 기준 ASR 대비 WER을 42% 이상 감소시켰다.
• mask-MVDR 버전이 sig-MVDR 버전보다 실제 데이터에서 더 우수한 성능을 보였으며, 이는 TasNet 출력에서 유발되는 잡음을 억제하는 데 마스크 기반 접근이 유리함을 시사한다.
• VAD 유사 1D 마스크는 평균화 효과 덕분에 정확도가 떨어지는 추정을 줄여 PSM보다 더 우수한 ASR 성능을 달성했다.
• MC-Conv-TasNet과 ASR 모델의 공동 학습은 실제 데이터에서의 ASR 성능을 크게 향상시켰으며, 특히 미세조정 단계에서 실제 데이터와 청소화 데이터를 모두 사용할 경우 최고의 성능를 기록했다.
• 시뮬레이션 데이터에서의 ASR 성능는 약간 낮았지만, 공동 학습된 모델은 단순히 시뮬레이션 데이터에서만 학습된 모델보다 실제 환경에서 훨씬 더 우수한 일반화 능력을 보였다.
• 스펙트로그램 시각화 결과, Beam-TasNet과 공동 학습된 모델이 MC-Conv-TasNet 단독 모델보다 음성 패턴을 더 잘 복원하고 노이즈를 효과적으로 억제하는 것으로 확인되었다. 단, MC-Conv-TasNet 단독 모델은 스펙트럼 왜곡을 유발하는 경향이 있었다.