[논문 리뷰] Asteroid: the PyTorch-based audio source separation toolkit for researchers

Manuel Pariente, Samuele Cornell외 12명|arXiv (Cornell University)|2020. 05. 08.

Speech and Audio Processing참고 문헌 41인용 수 51

한 줄 요약

Asteroid은 엔드투엔드 오디오 소스 분리 및 음성 향상을 위한 PyTorch 기반 오픈 소스 도구 상자이며, 인코더-마스커-디코더 아키텍처, 구성 가능한 필터뱅크, 손실 함수, 데이터셋, 및 재현 가능한 연구를 촉진하기 위한 Kaldi-스타일 레시피를 제공합니다.

ABSTRACT

This paper describes Asteroid, the PyTorch-based audio source separation toolkit for researchers. Inspired by the most successful neural source separation systems, it provides all neural building blocks required to build such a system. To improve reproducibility, Kaldi-style recipes on common audio source separation datasets are also provided. This paper describes the software architecture of Asteroid and its most important features. By showing experimental results obtained with Asteroid's recipes, we show that our implementations are at least on par with most results reported in reference papers. The toolkit is publicly available at https://github.com/mpariente/asteroid .

연구 동기 및 목표

• 데이터 준비에서 평가까지 엔드투엔드 파이프라인을 제공하여 신경 오디오 소스 분리에서 재현 가능한 연구를 촉진한다.
• 다중 인코더-마스크-디코더 구성과 손실 함수를 갖춘 유연한 PyTorch 기반 프레임워크를 제공한다.
• 연구 전반에 걸친 실험 표준화를 위한 Kaldi-스타일 레시피와 데이터셋 모음을 제공한다.

제안 방법

• 호환 가능한 필터뱅크, 마스크, 손실 함수로 인코더-마스크-디코더 아키텍처를 구현한다.
• STFT 기반 및 학습 가능한 옵션을 포함한 다양한 필터뱅크와 PyTorch 호환 인터페이스를 갖춘 복소수 값 마스킹을 지원한다.
• 다중 화자 순서 순서 불변성(Permutation Invariant Training, PIT) 손실 래퍼를 제공하여 다화자 순서 혼동을 처리한다.
• 엔드투엔드 실험을 위한 Kaldi-스타일 워크플로를 따른 데이터셋 레시피 및 학습/평가 파이프라인을 제공합니다.
• 확장 가능한 학습을 위한 PyTorch-Lightning과 표준화된 평가 지표를 위한 pb_bss_eval와의 통합.

실험 결과

연구 질문

• RQ1 Asteroid가 구성 가능한 레시피를 사용하여 여러 데이터셋에서 최첨단 음성 분리 결과를 재현할 수 있는가?
• RQ2 다양한 필터뱅크, 마스크 네트워크 및 손실 함수가 단일 채널 혼합물에서 분리 성능에 어떻게 상호 작용하는가?
• RQ3 종단-대-종단 Kaldi-스타일 레시피를 제공하는 것이 오디오 소스 분리에서 재현성 및 실험 용이성에 어느 정도 기여하는가?
• RQ4 표준 데이터셋에서 Asteroid 프레임워크 내 일반 아키텍처의 기본 성능은 무엇인가? 예: TasNet 변형, DPRNN, Open-Unmix.
• RQ5 PST (Permutation-Invariant) 손실이 Asteroid의 학습 파이프라인에서 전통적 손실과 비교하여 어떤 차이가 있는가?

주요 결과

• Asteroid의 레시피는 wsj0-2mix에서 SI-SDRi 향상을 여러 아키텍처에 대해 원래 보고된 바와 동등하거나 그 이상으로 달성한다.
• 향상된 TasNet 아키텍처를 사용하는 WHAMR 작업에서 Asteroid의 결과가 다양한 조건에서 원래보다 우수하며 때로는 최대 2.6 dB SI-SDRi 만큼 초과한다.
• Asteroid는 TasNet 변형, DPRNN 등의 모델 구현 및 평가를 빠르게 할 수 있는 간소화된 워크플로를 제공한다(예: TasNet 레시피가 하루도 채 되지 않아 작성됨).
• 이 도구상자는 데이터세트와 아키텍처 전반에서 경쟁력 있는 성능을 보여주며 개발 및 벤치마킹을 위한 연구 지향 플랫폼으로서의 효과를 검증한다.
• Asteroid는 Kaldi-스타일 레시피, 상세한 데이터 준비 단계, 구성-파일명 기반의 실험 설정을 통해 재현성을 강조한다.