[논문 리뷰] Building state-of-the-art distant speech recognition using the CHiME-4 challenge with a setup of speech enhancement baseline

Szu-Jui Chen, Aswin Shanmugam Subramanian외 2명|arXiv (Cornell University)|2018. 03. 27.

Speech and Audio Processing참고 문헌 19인용 수 5

한 줄 요약

이 논문은 Kaldi 툴킷을 사용하여 공개적으로 재현 가능한, 단일 시스템 기반의 최신 기술 수준의 원거리 음성 인식 시스템을 제안한다. 이 시스템은 이중방향 LSTM 기반 일반화 고유값 빔포머, 레이어리스 최대 상호정보( LF-MMI)로 훈련된 TDNN 및 LSTM 언어모델 재평가 점수를 사용한다. 다중채널 데이터 증강 기법을 통해 향상된 출력을 활용하여 실제 테스트 세트에서 2.74% WER를 달성했으며, 이는 챌린지에서 2위를 기록한 성과이다.

ABSTRACT

This paper describes a new baseline system for automatic speech recognition (ASR) in the CHiME-4 challenge to promote the development of noisy ASR in speech processing communities by providing 1) state-of-the-art system with a simplified single system comparable to the complicated top systems in the challenge, 2) publicly available and reproducible recipe through the main repository in the Kaldi speech recognition toolkit. The proposed system adopts generalized eigenvalue beamforming with bidirectional long short-term memory (LSTM) mask estimation. We also propose to use a time delay neural network (TDNN) based on the lattice-free version of the maximum mutual information (LF-MMI) trained with augmented all six microphones plus the enhanced data after beamforming. Finally, we use a LSTM language model for lattice and n-best re-scoring. The final system achieved 2.74\% WER for the real test set in the 6-channel track, which corresponds to the 2nd place in the challenge. In addition, the proposed baseline recipe includes four different speech enhancement measures, short-time objective intelligibility measure (STOI), extended STOI (eSTOI), perceptual evaluation of speech quality (PESQ) and speech distortion ratio (SDR) for the simulation test set. Thus, the recipe also provides an experimental platform for speech enhancement studies with these performance measures.

연구 동기 및 목표

• CHiME-4 챌린지에서 사용된 복잡한 다중 시스템 융합 기반 접근법에 비해 성능이 유사하거나 이를 초월하는 단일 시스템 베이스라인을 개발하는 것.
• 소음이 있는 다중채널 ASR 및 음성 향상 분야의 연구를 가속화하기 위해 Kaldi ASR 툴킷 내에서 공개 가능한 재현 가능한 레시피를 제공하는 것.
• 음성 향상 품질 평가를 위한 빠른 평가를 가능하게 하기 위해 훈련 및 평가 파이프라인에 주관적 음성 향상 지표(STOI, eSTOI, PESQ, SDR)를 통합하는 것.
• 빔포밍을 통해 생성된 향상된 신호를 사용한 데이터 증강 기법이, 특히 고급 음성 모델과 조합되었을 때 ASR 성능 향상에 기여하는지 보여주는 것.
• 음성 향상 및 인식 모듈을 종합적으로 통합하고 고급 언어모델링을 적용함으로써, 시스템 융합 없이도 최신 기술 수준의 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• 일반화 고유값 빔포밍(Gev)에서 이중방향 LSTM(BLSTM)을 사용하여 마스크 추정을 수행함으로써, 기존의 지연-합산 빔포머보다 노이즈 억제 성능을 향상시킴.
• 시간 지연 신경망(TDNN)을 레이어리스 최대 상호정보(LF-MMI)로 훈련하여 강력한 음성 모델링을 구현함으로써 장기적 의존성을 더 잘 포착할 수 있도록 함.
• 모든 6개 마이크로폰의 신호와 빔포밍을 통해 생성된 향상된 출력 신호를 포함하여 다중채널 데이터 증강을 적용함으로써 훈련 데이터의 다양성을 증가시킴.
• 두 단계의 디코딩 전략을 구현함: 첫 번째 단계에서는 TDNN을 사용해 레이어리스 생성을 수행하고, 두 번째 단계에서는 중요도 샘플링을 적용한 5-그램 언어모델과 더 강력한 LSTM 언어모델(LSTMLM)을 사용하여 재평가 점수를 계산함.
• STOI, eSTOI, PESQ, SDR의 네 가지 주관적 음성 향상 지표를 레시피에 통합하여, 전체 ASR 디코딩을 수행하지 않고도 향상 품질을 신속하게 평가할 수 있도록 함.
• 전체 시스템을 Kaldi ASR 툴킷 내에 구현하여 공개된 GitHub 저장소를 통해 재현 가능성과 접근성을 확보함.

실험 결과

연구 질문

• RQ1 단일 통합 ASR 시스템이 CHiME-4 챌린지에서 상위 수준의 다중 시스템 융합 기반 접근법과 유사한 성능을 달성할 수 있는가?
• RQ2 빔포밍 후 향상된 음성 신호를 훈련 데이터에 통합할 경우, 소음이 많은 다중채널 환경에서 ASR의 강인성은 어느 정도 향상되는가?
• RQ3 실제 소음 환경에서 기존의 빔포머 대비 BLSTM 기반 마스크 추정 기법이 일반화 고유값 빔포밍에서 얼마나 효과적인가?
• RQ4 레이어리스 MMI로 훈련된 TDNN 음성 모델과 LSTMLM 재평가 점수를 통합할 경우, 표준 DNN+sMBR 시스템 대비 단어 오류율(WER)이 유의미하게 감소하는가?
• RQ5 STOI, PESQ, SDR 등의 주관적 향상 지표는 실제 ASR 성능과 어느 정도 상관관계를 가지며, 향상 알고리즘 평가의 신뢰할 수 있는 대체 지표로 사용될 수 있는가?

주요 결과

• 제안된 단일 시스템 접근법은 6채널 트랙에서 실제 테스트 세트에서 2.74% WER를 달성하여 CHiME-4 챌린지에서 2위를 기록하였으며, 공식 베이스라인 대비 76% 상대적 향상률을 기록함.
• 모든 6개 마이크로폰과 빔포밍을 통해 생성된 향상된 신호를 포함한 데이터 증강 기법이 일관된 WER 감소를 이끌었으며, 최적의 구성에서 실제 테스트 데이터에서 2.74% WER를 달성함.
• TDNN에 LF-MMI를 적용하고 LSTMLM 재평가 점수를 통합함으로써 6채널 트랙에서 RNNLM 사용 시 3.79%였던 WER가 2.85%로 감소하여 고급 언어모델링의 효과를 입증함.
• BLSTM 기반 마스크 추정 빔포밍은 기존의 BeamformIt 빔포머보다 우수한 성능을 보였으며, LF-MMI와 LSTMLM를 함께 사용했을 때 WER가 3.79%에서 2.85%로 감소함.
• 강력한 향상 지표 점수(예: 높은 STOI, PESQ)를 기록한 일부 시스템은 ASR 성능이 악화된 경우가 있었으며, 이는 주관적 지표가 항상 ASR 성능 향상을 예측하지 못함을 시사함—특히 SDR 점수가 높을 경우 더욱 두드러짐.
• 향상된 데이터 통합 전략이 열악한 향상 성능으로 인한 성능 저하를 완화함을 입증함. 특히 단일 마이크로폰 설정에서는 BLSTM 마스크링만으로는 성능이 악화되었지만, 향상된 데이터 증강 기법을 통합함으로써 성능 향상이 이루어짐.