[논문 리뷰] The ICSTM+TUM+UP Approach to the 3rd CHIME Challenge: Single-Channel LSTM Speech Enhancement with Multi-Channel Correlation Shaping Dereverberation and LSTM Language Models

Amr El-Desoky Mousa, Erik Marchi외 1명|arXiv (Cornell University)|2015. 10. 01.

Speech and Audio Processing인용 수 6

한 줄 요약

이 논문은 제3회 CHiME 챌린지용 하이브리드 음성 향상 및 인식 시스템을 제안하며, 단일 채널 LSTM 기반 음성 향상과 다중 채널 상관관계 형상화(CS) 및 위상 오차 필터링(PEF)을 활용한 데리버버레이션 처리를 결합하고, N-best 재평가를 위한 LSTM 언어 모델을 적용한다. 이 방법은 실제 평가 세트에서 24.38%의 WER를 달성하여 챌린지 베이스라인 대비 25%의 상대적 향상을 보였다.

ABSTRACT

This paper presents our contribution to the 3rd CHiME Speech Separation and Recognition Challenge. Our system uses Bidirectional Long Short-Term Memory (BLSTM) Recurrent Neural Networks (RNNs) for Single-channel Speech Enhancement (SSE). Networks are trained to predict clean speech as well as noise features from noisy speech features. In addition, the system applies two methods of dereverberation on the 6-channel recordings of the challenge. The first is the Phase-Error based Filtering (PEF) that uses time-varying phase-error filters based on estimated time-difference of arrival of the speech source and the phases of the microphone signals. The second is the Correlation Shaping (CS) that applies a reduction of the long-term correlation energy in reverberant speech. The Linear Prediction (LP) residual is processed to suppress the long-term correlation. Furthermore, the system employs a LSTM Language Model (LM) to perform N-best rescoring of recognition hypotheses. Using the proposed methods, an improved Word Error Rate (WER) of 24.38% is achieved over the real eval test set. This is around 25% relative improvement over the challenge baseline.

연구 동기 및 목표

• 실제 환경에서 흔히 발생하는 소음이 많고 리버버버레이션이 강한 환경에서 자동 음성 인식(ASR) 성능을 향상시키기 위해.
• 다중 마이크로폰 녹음에서 배경 소음과 실내 리버버버레이션으로 인한 ASR 성능 저하 문제를 해결하기 위해.
• 음성 향상, 데리버버레이션, 언어 모델링을 결합한 데이터 기반의 종단간 훈련이 가능한 시스템을 개발하기 위해.
• 실제 CHiME-3 데이터에 대해 단일 채널 LSTM 기반 향상 및 다중 채널 데리버버레이션 기법의 효과를 평가하기 위해.

제안 방법

• 단일 채널 음성 향상(SSE) 환경에서 노이즈가 섞인 음성 특징에서 청소된 음성과 노이즈 특징을 직접 예측하기 위해 양방향 LSTM 순환 신경망(BLSTM)을 훈련한다.
• 두 가지 다중 채널 데리버버레이션 기법을 적용한다: 위상 오차 기반 필터링(PEF), 시간 도래 차이 추정치를 바탕으로 시간에 따라 변하는 위상 오차 필터를 사용하며, 상관관계 형상화(CS), 선형 예측(LP) 잔여 신호의 장기적 상관관계 에너지를 감소시킨다.
• 특히 CS 방법는 음성 신호의 수신기로 향하는 인파르스 응답의 길이를 단축시켜 늦은 리버버버레이션을 억제하는 데 목적이 있다.
• CHiME-3 데이터셋을 기반으로 LSTM 기반 언어 모델을 훈련하고, 기준 GMM/DNN ASR 시스템의 N-best 인식 후보를 재평가하는 데 사용한다.
• 시스템은 실제 및 시뮬레이션된 CHiME-3 데이터를 모두 대상으로 훈련 및 평가되며, 다양한 향상 및 데리버버레이션 설정 간 성능을 비교한다.
• 최종 성능는 하이브리드 LSTM LM와 5-그램 백오프 모델을 사용한 N-best 재평가를 통해 최적화되며, 인식 정확도가 향상된다.

실험 결과

연구 질문

• RQ1 노이즈가 많고 리버버버레이션이 강한 환경에서 단일 채널 LSTM 기반 음성 향상 기법이 단어 오류율(WER)을 얼마나 효과적으로 감소시키는가?
• RQ2 실제 CHiME-3 데이터에서 상관관계 형상화(CS)와 위상 오차 기반 필터링(PEF) 중 어느 다중 채널 데리버버레이션 기법이 더 높은 ASR 성능을 내는가?
• RQ3 다중 마이크로폰 ASR 환경에서 LSTM 언어 모델을 활용한 N-best 재평가를 통해 얼마나 높은 수준의 인식 정확도 향상을 기대할 수 있는가?
• RQ4 CS 기반 데리버버레이션 데이터를 훈련 데이터로 사용할 경우, 베이스라인 또는 PEF 향상 데이터 대비 실제 테스트 세트에서 더 나은 일반화 성능를 보이는가?
• RQ5 고도로 발전한 향상 및 데리버버레이션 기법을 사용할 때, 시뮬레이션된 데이터가 실제 음성 인식 시스템의 성능을 신뢰성 있게 예측할 수 있는가?

주요 결과

• 제안된 시스템은 실제 평가 테스트 세트에서 24.38%의 단어 오류율(WER)을 달성하여 공식 챌린지 베이스라인 대비 25%의 상대적 향상을 보였다.
• 실제 평가 세트에서 상관관계 형상화(CS)가 위상 오차 기반 필터링(PEF)보다 더 뛰어난 성능을 보였으며, CS는 27.74%의 WER를 기록한 반면 PEF는 28.79%의 WER를 기록했다.
• 단일 채널 LSTM 향상과 CS 데리버버레이션의 조합이 가장 우수한 종합 성능을 보였으며, 단일 채널 향상 또는 PEF만을 사용한 경우보다 뛰어난 성능를 기록했다.
• CS 기반 데리버버레이션 데이터에 대해 LSTM 언어 모델을 활용한 N-best 재평가를 적용했을 때, WER가 약 4% 상대적으로 감소했으며, 베이스라인 향상 데이터에 적용했을 경우 5% 감소했다.
• 시뮬레이션된 데이터는 실제 데이터 성능을 강력하게 예측할 수 있었으며, 이는 시스템 개발 및 하이퍼파rameter 튜닝에 있어 유용한 도구임을 시사한다.
• 최고의 시스템은 실제 개발 세트에서 14.56%의 WER, 실제 평가 세트에서 24.38%의 WER를 기록했으며, 특히 보행자(PED) 및 버스(BUS) 환경에서 뛰어난 성능를 보였다.