[논문 리뷰] AISHELL-4: An Open Source Dataset for Speech Enhancement, Separation, Recognition and Speaker Diarization in Conference Scenario

Yihui Fu, Luyao Cheng외 11명|arXiv (Cornell University)|2021. 04. 08.

Speech Recognition and Synthesis인용 수 8

한 줄 요약

AISHELL-4는 120시간 분량의 실제 기록된 중국어 멀티스피커 미팅 데이터셋으로, 회의 장면에서 8채널 마이크 어레이를 사용해 수집되었으며, 겹침, 휴식, 잡음과 같은 자연스러운 음성 특성을 포함한다. 본 논문은 음성 증강, 분리, 인식, 다이아라이제이션을 통합한 파이토치 기반 기준 시스템을 제안하며, 프론트엔드 처리 이후 스피커 독립형 및 스피커 종속형 ASR 작업에서 각각 30.49% 및 39.86%의 문자 오류율(CER)을 달성하여 원시 입력에 비해 뚜렷한 향상이 있음을 보여준다.

ABSTRACT

In this paper, we present AISHELL-4, a sizable real-recorded Mandarin speech dataset collected by 8-channel circular microphone array for speech processing in conference scenario. The dataset consists of 211 recorded meeting sessions, each containing 4 to 8 speakers, with a total length of 120 hours. This dataset aims to bridge the advanced research on multi-speaker processing and the practical application scenario in three aspects. With real recorded meetings, AISHELL-4 provides realistic acoustics and rich natural speech characteristics in conversation such as short pause, speech overlap, quick speaker turn, noise, etc. Meanwhile, accurate transcription and speaker voice activity are provided for each meeting in AISHELL-4. This allows the researchers to explore different aspects in meeting processing, ranging from individual tasks such as speech front-end processing, speech recognition and speaker diarization, to multi-modality modeling and joint optimization of relevant tasks. Given most open source dataset for multi-speaker tasks are in English, AISHELL-4 is the only Mandarin dataset for conversation speech, providing additional value for data diversity in speech community. We also release a PyTorch-based training and evaluation framework as baseline system to promote reproducible research in this field.

연구 동기 및 목표

• 멀티스피커 음성 처리를 위한 대규모 실세계 중국어 미팅 데이터셋의 부족을 해결하기 위해.
• 회의실과 같은 복잡한 음향 환경에서 첨단 연구와 실세계 응용 간 격차를 메우기 위해.
• 통합된 현실적인 데이터셋을 통해 음성 증강, 분리, 인식 및 다이아라이제이션의 공동 최적화를 지원하기 위해.
• 데이터셋과 함께 파이토치 기반 학습 및 평가 프레임워크를 공개하여 재현 가능한 연구를 촉진하기 위해.

제안 방법

• 데이터셋은 실제 회의 장소에서 8채널 원형 마이크 어레이를 사용해 수집되었으며, 4~8명의 스피커가 포함된 총 211개 세션을 포함한다.
• 고정밀도 레이블은 각 미팅에 대해 단어 수준의 번역, 스피커 전환 경계, 음성 활성도 검출(VAD)을 포함한다.
• 복잡한 스펙트로그램 기반 빔포밍 방법을 사용한 다단계 기준 시스템을 개발하였으며, 음성 증강 및 분리를 위한 가중치 벡터는 $ \mathbf{w}_f^k = \frac{\mathbf{R}_f^{-1}\mathbf{u}_r}{\mathbf{u}_r^H\mathbf{R}_f^{-1}\mathbf{u}_r} $ 로 정의된다.
• 음성 인식은 2층의 2차원 컨볼루션 신경망과 8층의 트랜스포머 인코더, 6층의 디코더를 사용하며, 공동 CTC 및 교차 엔트로피 손실로 훈련된다.
• SpecAugment를 통한 데이터 증강과 시뮬레이션 및 실제 기록 데이터(훈련 768시간, 개발 97시간)의 혼합 훈련을 통해 모델의 강인성을 향상시켰다.
• 평가에서는 스피커 독립형 및 스피커 종속형 CER 지표를 사용하였으며, 스피커 독립형 평가에서는 참조 분할을 사용하고, 스피커 종속형 평가에서는 전체 파이프라인을 적용하였다.

Figure 1: An example of recording venue of training set and the topology of microphone array.

실험 결과

연구 질문

• RQ1 회의 장면에서의 실세계 음향 열화가 자동 음성 인식 성능에 어떤 영향을 미치는가?
• RQ2 프론트엔드 처리(증강, 분리, SAD, 다이아라이제이션)가 겹침이 있는 멀티스피커 미팅에서 ASR 정확도를 어느 정도 향상시킬 수 있는가?
• RQ3 증강, 분리, 인식 및 다이아라이제이션을 통합한 종단간 엔드 파이프라인은 개별 모듈보다 더 높은 성능을 달성할 수 있는가?
• RQ4 동일 도메인의 실제 기록 데이터로 미세조정된 모델과 합성 데이터로 훈련된 모델의 성능는 어떻게 비교되는가?

주요 결과

• 기준 시스템은 원시 입력을 사용할 경우 스피커 독립형 ASR 작업에서 32.56%의 CER를 기록하여 실세계 음향 환경의 심각한 영향을 입증하였다.
• 프론트엔드 처리(증강, 분리, SAD, 다이아라이제이션)를 적용한 후 스피커 독립형 작업의 CER는 30.49%로 감소하여 명백한 향상이 있음을 보였다.
• 스피커 종속형 작업에서는 CER가 41.55%에서 39.86%로 감소하여 전체 파이프라인 평가에서도 일관된 성능 향상이 있음을 확인하였다.
• 훈련에 실제 기록된 데이터(63시간)를 포함시킴으로써 합성 데이터만을 사용한 경우에 비해 모델의 일반화 능력이 뚜렷이 향상되었다.
• 제안된 파이토치 기반 프레임워크는 재현 가능한 연구를 가능하게 하며, 음성 처리 과제 간 공동 최적화를 촉진한다.
• AISHELL-4는 대규모 실기록 중국어 미팅 데이터셋으로서, 비영어 음성 처리 연구에 유일무이한 가치를 제공한다.