[논문 리뷰] An Investigation of End-to-End Multichannel Speech Recognition for Reverberant and Mismatch Conditions

Aswin Shanmugam Subramanian, Xiaofei Wang외 4명|arXiv (Cornell University)|2019. 04. 19.

Speech and Audio Processing참고 문헌 34인용 수 17

한 줄 요약

이 논문은 병렬 청소 및 반향 데이터가 필요 없으며 반복적 추론 없이도 ASR 목적 함수 손실만을 사용하여 신경 반향 제거(WPE), 음향 방향성 조절(MVDR), 음성 모델링을 공동 최적화하는 엔드 투 엔드 다중채널 ASR 시스템을 제안한다. REVERB 데이터셋에서는 최신 기술 수준의 성능을 달성하였고, 조건이 맞지 않는 DIRHA 데이터셋에서도 뚜렷한 성능 향상을 보이며, 모든 구성 요소를 함께 미분 가능한 방식으로 학습시켜 실제 반향 및 노이즈 있는 환경에서도 뛰어난 강인성을 입증한다.

ABSTRACT

Sequence-to-sequence (S2S) modeling is becoming a popular paradigm for automatic speech recognition (ASR) because of its ability to jointly optimize all the conventional ASR components in an end-to-end (E2E) fashion. This report investigates the ability of E2E ASR from standard close-talk to far-field applications by encompassing entire multichannel speech enhancement and ASR components within the S2S model. There have been previous studies on jointly optimizing neural beamforming alongside E2E ASR for denoising. It is clear from both recent challenge outcomes and successful products that far-field systems would be incomplete without solving both denoising and dereverberation simultaneously. This report uses a recently developed architecture for far-field ASR by composing neural extensions of dereverberation and beamforming modules with the S2S ASR module as a single differentiable neural network and also clearly defining the role of each subnetwork. The original implementation of this architecture was successfully applied to the noisy speech recognition task (CHiME-4), while we applied this implementation to noisy reverberant tasks (DIRHA and REVERB). Our investigation shows that the method achieves better performance than conventional pipeline methods on the DIRHA English dataset and comparable performance on the REVERB dataset. It also has additional advantages of being neither iterative nor requiring parallel noisy and clean speech data.

연구 동기 및 목표

• 원거리 음성 응용을 위한 엔드 투 엔드 ASR에 다중채널 음성 향상(반향 제거 및 방향성 조절)을 직접 통합할 수 있는지 탐색하는 것.
• 단일 미분 가능한 손실을 통해 반향 제거, 방향성 조절, ASR를 공동 최적화하면 반향 및 조건이 맞지 않는 환경에서 강인한 성능을 낼 수 있는지 평가하는 것.
• 엔드 투 엔드 다중채널 ASR에서 병렬 청소-반향 음성 데이터에 의존하거나 반복적 처리를 제거하는 것.
• 학습 데이터 조건이 다른 실제 원거리 음성 데이터(예: DIRHA, REVERB 실측 데이터)에서의 일반화 성능 평가

제안 방법

• 모델은 순차적-순차적 ASR 프레임워크 내에서 신경 기반 WPE 기반 반향 제거와 MVDR 방향성 조절을 서로 다른 미분 가능한 하위망으로 통합한다.
• 반향 제거 하위망은 DNN를 통해 원하는 신호의 세기 스펙트럼을 추정하는 시간-주파수 마스크를 사용하며, 반복적인 WPE 과정을 대체한다.
• 방향성 조절 하위망은 추정된 전력 스펙트럼 밀도 행렬에서 유도된 미분 가능한 MVDR 필터를 사용하며, 선택적 음성 활동 감지(SAD)-유사 마스크를 포함할 수 있다.
• 모든 구성 요소는 병렬 청소 데이터나 신호 수준의 명시적 지도 없이도 오직 ASR 목적 함수만을 사용해 공동으로 학습된다.
• 학습 중에 모델은 반향 제거 또는 방향성 조절 브랜치 중 하나를 무작위로 건너뛰어 강인성과 일반화 능력을 향상시킨다.
• 시스템은 입력 채널 수를 임의로 지원하며, 중간 하위망 출력에서 향상된 스펙트로그램을 생성할 수 있다.

실험 결과

연구 질문

• RQ1 통합된 신경 반향 제거 및 방향성 조절 기능을 갖춘 엔드 투 엔드 다중채널 ASR 시스템이 반향 및 노이즈 있는 환경에서 전통적인 파이프라인 방법보다 우수한 성능을 낼 수 있는가?
• RQ2 ASR 목적 함수만을 사용해 반향 제거 및 방향성 조절을 공동 최적화하면, 조건이 맞지 않는 실제 환경 테스트 세트에서도 강인한 성능을 낼 수 있는가?
• RQ3 TF 마스크와 SAD 마스크와 같은 다양한 마스크 유형이 도전적인 원거리 조건에서 성능에 어떤 영향을 미치는가?
• RQ4 병렬 청소-반향 데이터가 필요 없이도 시스템이 실제 원거리 데이터에 일반화될 수 있는가?

주요 결과

• SAD 마스크를 사용한 공동 최적화 엔드 투 엔드 모델은 조건이 맞지 않는 DIRHA 테스트 세트에서 최고의 파이프라인 방법 대비 5.2% 상대적 WER 향상을 달성했다.
• REVERB 시뮬레이션 세트에서는 TF 마스크를 사용한 공동 엔드 투 엔드 모델이 파이프라인 및 독립형 엔드 투 엔드 기준 모델을 모두 앞서는 최고의 성능을 보였다.
• REVERB 챌린지 공식 테스트 세트에서 최신 기술 수준의 시스템과 비교해 유사하거나 더 우수한 성능을 달성했으며, 특히 실제 원거리 조건에서 뛰어난 성능을 보였다.
• 시스템은 예측 불가능한 채널 구성에 잘 일반화되며, 반복적 처리나 병렬 청소 데이터를 필요로 하지 않는다.
• 스펙트로그램의 시각적 분석 결과, 향상된 출력이 왜곡을 줄이고 배경 소음을 명확히 하여 효과적인 반향 제거 및 노이즈 제거가 이루어졌음을 확인했다.
• 모든 구성 요소를 오직 ASR 목적 함수만을 사용해 공동 최적화하는 데 성공했으며, 이는 신호 수준의 목적 함수가 효과적인 향상에 필수적이지 않음을 입증한다.