[논문 리뷰] LibriMix: An Open-Source Dataset for Generalizable Speech Separation

Joris Cosentino, Manuel Pariente외 3명|arXiv (Cornell University)|2020. 05. 22.

Speech and Audio Processing참고 문헌 31인용 수 183

한 줄 요약

LibriMix는 LibriSpeech에서 파생된 오픈 소스 두 화자 및 세 화자 혼합(잡음 있음/없음)을 제공하여 음성 분리의 일반화 성능을 향상시키고, 교차 데이터셋 평가와 희박하게 겹치는 테스트 세트를 포함합니다.

ABSTRACT

In recent years, wsj0-2mix has become the reference dataset for single-channel speech separation. Most deep learning-based speech separation models today are benchmarked on it. However, recent studies have shown important performance drops when models trained on wsj0-2mix are evaluated on other, similar datasets. To address this generalization issue, we created LibriMix, an open-source alternative to wsj0-2mix, and to its noisy extension, WHAM!. Based on LibriSpeech, LibriMix consists of two- or three-speaker mixtures combined with ambient noise samples from WHAM!. Using Conv-TasNet, we achieve competitive performance on all LibriMix versions. In order to fairly evaluate across datasets, we introduce a third test set based on VCTK for speech and WHAM! for noise. Our experiments show that the generalization error is smaller for models trained with LibriMix than with WHAM!, in both clean and noisy conditions. Aiming towards evaluation in more realistic, conversation-like scenarios, we also release a sparsely overlapping version of LibriMix's test set.

연구 동기 및 목표

• 모델이 WSJ0-2mix에서 학습될 때 일반화 격차를 더 다양한 오픈 소스 데이터세트를 제공함으로써 해결한다.
• LibriSpeech에서 WHAM! 소음과 함께 유용한 평가를 위한 현실적 평가를 위해 깨끗하고 소음 있는 두 화자 및 세 화자 혼합으로 LibriMix를 만든다.
• 실세계 대화를 모방하기 위해 추가된 VCTK 기반 테스트 세트와 희박하게 중첩되는 테스트 세트를 통해 공정한 크로스-데이터셋 평가를 가능하게 한다.
• Conv-TasNet을 사용한 일반화 개선을 보여주고 오픈 소스 생성 스크립트를 제공한다.

제안 방법

• LibriSpeech와 WHAM! 소음으로부터 LibriMix 데이터세트를 구성하여 깨끗한 조건과 소음 조건에서 두 화자 및 세 화자 혼합을 생성한다.
• 간단한 신호 파워 기반 SNR 대신 LUFS 기반 음량 정규화를 혼합물 스케일링에 사용한다.
• 여러 화자의 발화를 무작위로 혼합하여 학습, 개발, 테스트 세트를 생성하며 학습 세트는 광범위한 화자 기반을 가진다.
• Conv-TasNet(Asteroid 구현)을 LibriMix에서 평가하고 서로 다른 샘플링 주파수 및 모드(min/max)에서 이상적 마스크(IRR/IBM)와 비교한다.
• 다양한 중첩 정도를 갖는 SparseLibriMix 변형을 도입하여 희박하게 중첩된 혼합물에서의 성능을 연구한다.

실험 결과

연구 질문

• RQ1 LibriMix가 WHAM! 및 wsj0-2mix와 비교하여 VCTK-2mix와 같은 다른 데이터세트에 대한 심층 음성 분리 모델의 일반화를 향상시키는가?
• RQ2 LibriMix를 학습했을 때 깨끗한 조건과 소음 조건 중 일반화에 차이가 있는가?
• RQ3 두 화자 및 세 화자 혼합물에 대한 중첩도와 희소성이 분리 성능에 어떤 영향을 미치는가?
• RQ4 LibriMix가 신뢰할 수한 크로스-데이터셋 평가를 가능하게 하고 세 화자 소음 분리를 지원하는가?

주요 결과

데이터세트/모드	입력	IRM	IBM	Conv-TasNet
2spk-C	8k min	0.0	12.9	13.7	14.7
2spk-C	16k max	0.0	14.1	14.5	16
2spk-N	8k min	-2.0	12	12.6	12
2spk-N	16k max	-2.8	13.4	13.7	13.5
3spk-C	8k min	-3.4	13.1	13.9	12.1
3spk-C	16k max	-3.7	14.5	14.9	13
3spk-N	8k min	-4.4	12.6	13.3	10.4
3spk-N	16k max	-5.2	14.1	14.4	10.9

• Conv-TasNet은 LibriMix에서 경쟁력 있는 SI-SDR 개선을 달성하며 여러 깨끗한/소음 두 화자 사례에서 이상적 마스크를 능가하거나 일치한다.
• LibriMix에서 학습한 모델이 WHAM!으로 학습한 모델보다 VCTK-2mix에 일반화하는 경향이 강해 크로스-데이터셋 일반화가 향상되었음을 시사한다.
• 일반화에 더 나은 성능을 얻으려면 더 많은 데이터(train-360)가 필요하며 데이터 양이 중요한 요소임을 강조한다.
• 세 화자 혼합은 여전히 도전적이며 많은 경우에서 역학적(IRM/IBM)이 Conv-TasNet보다 우수하게 나타나며 특히 소음 환경에서 그렇다.
• SparseLibriMix 결과는 더 높은 중첩이 SI-SDRi를 감소시키고 저중첩 영역에서 IRM이 Conv-TasNet을 앞서는 경향이 있어 희박하게 중첩된 상황에서 개선 여지가 있음을 시사한다.
• Libri3Mix은 두 화자 사례를 넘어 세 화자 소음 분리를 가능하게 하는 최초의 오픈 소스 데이터세트로 평가를 확장한다.