[논문 리뷰] SpeechBrain: A General-Purpose Speech Toolkit

Mirco Ravanelli, Titouan Parcollet외 19명|arXiv (Cornell University)|2021. 06. 08.

Speech Recognition and Synthesis참고 문헌 107인용 수 512

한 줄 요약

SpeechBrain은 오픈 소스의 원스톱 PyTorch 기반 toolkit으로, 연구 및 재현을 가속하기 위해 준비된 모델, 레시피 및 튜토리얼과 함께 다양한 음성 처리 작업을 지원합니다.

ABSTRACT

SpeechBrain is an open-source and all-in-one speech toolkit. It is designed to facilitate the research and development of neural speech processing technologies by being simple, flexible, user-friendly, and well-documented. This paper describes the core architecture designed to support several tasks of common interest, allowing users to naturally conceive, compare and share novel speech processing pipelines. SpeechBrain achieves competitive or state-of-the-art performance in a wide range of speech benchmarks. It also provides training recipes, pretrained models, and inference scripts for popular speech datasets, as well as tutorials which allow anyone with basic Python proficiency to familiarize themselves with speech technologies.

연구 동기 및 목표

• 다양한 음성 작업(ASR, 화자 인식/발화 구분, 음성 향상, 분리, SLU 등)에 걸친 연구를 가속하기 위한 단일하고 유연한 툴킷을 동기로 제시합니다.
• 사용하기 쉽고 잘 문서화되며 학습자와 실무자에게 교육 친화적인 간단하고 모듈식 설계를 제공합니다.
• 준비된 학습 레시피와 사전 학습 모델을 광범위한 음성 벤치마크에서 경쟁력 있거나 SotA 성능으로 시연합니다.
• 투명한 학습 파이프라인, 데이터 세트 및 접근 가능한 실험 산출물을 통해 재현성을 촉진합니다.

제안 방법

• 일반적인 학습 루프를 모듈식 PyTorch 구성요소와 제어 반전(인버전-of-control) 학습 워크플로우로 Brain을 도입합니다.
• 읽기 쉽고 재현성을 위해 YAML에서 하이퍼파라미터와 객체를 선언하고 인스턴스화하기 위해 HyperPyYAML을 사용합니다.
• DynamicItemDataset과 데이터 매니페스트 기반 로딩 시스템을 구현하여 가변 길이의 음성 및 확장 가능한 파이프라인을 처리합니다.
• 학습 중 실시간 특징 생성 및 미분 가능 웨이브폼/데이터 증강을 지원합니다.
• 다중 GPU 및 혼합 정밀도 학습을 가능하게 하며, 대규모 WebDataset 기반 실험 및 효율성을 위한 JIT 컴파일을 지원합니다.
• 많은 음성 작업에 걸쳐 준비된 모델, 레시피 및 튜토리얼을 제공하여 빠른 실험 및 비교를 용이하게 합니다.

실험 결과

연구 질문

• RQ1 다양한 음성 작업을 지원하는 단일 다작업 툴킷이 경쟁력 있는 성능과 쉬운 확장성을 제공할 수 있는가?
• RQ2 하이퍼파라미터와 모델을 읽기 쉽고 재사용 가능한 방식으로 구성하여 실험을 가속할 수 있는가?
• RQ3 가변 길이 음성 데이터를 위한 효율적인 학습 및 평가를 가능하게 하는 파이프라인 설계는 무엇인가?
• RQ4 준비된 레시피와 사전 학습 모델이 연구자들이 작업 간 SotA 결과를 재현하는 데 어느 정도까지 기여할 수 있는가?

주요 결과

• SpeechBrain은 여러 작업에서 경쟁력 있거나 SotA 성능을 달성합니다(예: TIMIT PER 13.8% 추가 데이터 없이; LibriSpeech test-clean WER 2.46%는 transformer+ContextNet 프런트엔드로 달성; 여러 경우에서 SotA에 가까운 여러 언어의 Common Voice 결과).
• SpeechBrain에서의 ECAPA-TDNN 임베딩은 VoxCeleb에서 0.81%까지의 EER로 강력한 화자 검증 성능을 제공하며, 오픈 소스 도구로 VoxCeleb에서 최첨단 결과를 보여줍니다.
• AMI의 diarization에서 SpeechBrain 임베딩은 화자 수가 알려진 경우 최근의 메타-러닝 및 VBx 기준선을 능가하고, 알려지지 않은 경우에도 경쟁력을 유지합니다.
• 음성 향상에서 SpeechBrain은 VoiceBank-DEMAND 벤치마크에서 SotA PESQ 및 COVL 지표를 달성하며 Mimic Loss 및 MetricGAN+를 사용한 일부 설정에서 DEMUCS와 같은 전용 모델의 결과를 능가하거나 일치시킬 수 있습니다.
• Brain 학습 루프와 HyperPyYAML은 간단한 모델에 대해 약 10줄의 컴팩트한 학습 스크립트와 실험을 위한 하이퍼파라미터 재정의의 용이성을 제공합니다.