[논문 리뷰] Building Corpora for Single-Channel Speech Separation Across Multiple Domains

Matthew Maciejewski, Gregory Sell외 3명|arXiv (Cornell University)|2018. 11. 06.

Speech and Audio Processing참고 문헌 12인용 수 6

한 줄 요약

이 논문은 WSJ0와 같은 청소화된 근접 환경에서부터 CHiME-5 및 Mixer 6와 같은 현실적인 원거리, 대화형 환경에 이르기까지 다양한 도메인에서 고품질의 합성 단채널 음성 분리 데이터셋을 생성하기 위한 프레임워크를 제시한다. 단일 발화자 분할, 발화 쌍 생성, 순열 불변 훈련(uPIT)을 포함하는 체계적인 파이프라인을 사용하여, 저자들은 다중 도메인 데이터로 훈련된 모델이 단일 도메인 데이터로 훈련된 모델보다 훨씬 더 우수한 일반화 성능을 보임을 입증한다. 병합된 훈련을 통해 고립된 설정에서의 성능 향상은 미미하지만, 모든 조건에서 견고한 성능을 달성한다.

ABSTRACT

To date, the bulk of research on single-channel speech separation has been conducted using clean, near-field, read speech, which is not representative of many modern applications. In this work, we develop a procedure for constructing high-quality synthetic overlap datasets, necessary for most deep learning-based separation frameworks. We produced datasets that are more representative of realistic applications using the CHiME-5 and Mixer 6 corpora and evaluate standard methods on this data to demonstrate the shortcomings of current source-separation performance. We also demonstrate the value of a wide variety of data in training robust models that generalize well to multiple conditions.

연구 동기 및 목표

• 단채널 음성 분리에 대한 현실적인 평가 데이터의 부족, 특히 원거리 및 대화형 환경에서의 문제를 해결하기 위해.
• 기존 코퍼스에서 합성 겹쳐진 음성 데이터셋을 생성하기 위한 재현 가능한 고품질 파이프라인 개발을 위해.
• 다양한 음향 조건에서 표준 음성 분리 모델의 일반화 성능 평가를 위해.
• 다양하고 다중 도메인 데이터로 훈련할 경우 모델의 강건성과 조건 간 일반화 능력 향상이 실제로 이루어지는지 입증하기 위해.

제안 방법

• CHiME-5 및 Mixer 6 코퍼스에서 초기 단일 발화자 분할 및 음성 활동 탐지 작업을 위해 Kaldi 툴킷을 사용하였다.
• 균형 잡힌 발화자 존재를 갖는 고품질의 겹치지 않는 음성 혼합물을 생성하기 위해 체계적인 발화 쌍 생성 전략을 구현하였다.
• 매개변수 없는 순열 불변 훈련(uPIT)을 적용하였으며, 두 층의 양방향 LSTM 네트워크와 크로스 엔트로피 손실 함수를 사용하였다.
• 고정된 학습률 0.001로 200 에포크 동안 Adam 옵timizer를 사용하여 모델을 훈련하였으며, 검증 손실 기반으로 최적의 모델을 선택하였다.
• 다양한 데이터 다양성의 영향을 평가하기 위해 균형 잡힌 발화자 수와 100,000개 혼합물로 확장된 버전을 포함한 여러 훈련 세트를 생성하였다.
• 소스 분리의 표준 지표인 신호 대 간섭비(SDR)를 사용하여 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 음성 분리에서 청소화된 근접 환경에서 현실적인 원거리, 대화형 환경으로 이동할 경우 모델 성능이 어떻게 저하되는가?
• RQ2 단일 도메인(예: WSJ0)에서 훈련된 모델이 더 현실적인 다중 발화자, 원거리 환경으로의 일반화 능력은 어느 정도인가?
• RQ3 WSJ0, Mixer 6, CHiME-5와 같은 다양한 도메인 간의 훈련 데이터 다양성을 증가시키면 모델의 강건성과 일반화 능력이 향상되는가?
• RQ4 훈련 데이터의 양과 다양성 중 어느 것이 음성 분리 모델 훈련에 더 큰 영향을 미치는가?
• RQ5 다양한 도메인의 조합으로 훈련된 단일 모델이 모든 테스트 조건에서 우수한 성능을 달성할 수 있는가?

주요 결과

• WSJ0 데이터로 훈련된 모델은 청소화된 근접 환경인 WSJ0 테스트 조건에서 가장 높은 SDR를 기록했지만, 원거리 및 대화형 환경에서는 성능 저하가 심각하게 나타났다.
• 단일 도메인에서 훈련된 모델은 일반화 능력이 떨어졌다: 근접 환경에서 훈련된 모델은 원거리 환경에서 잘 작동하지 않았고, 원거리 환경에서 훈련된 모델은 근접 환경에서 성능이 열 劣했다.
• Mixer 6의 근접 환경에서 훈련된 모델가 CHiME-5 근접 환경 테스트 세트에서 CHiME-5 근접 환경 모델보다 뛰어난 성능을 보였는데, 이는 음성 품질이 모델 성능에 영향을 줄 수 있음을 시사한다.
• Mixer 6에서 균형 잡힌 발화자 수로 훈련한 모델는 전체 데이터셋 대비 약간의 성능 저하를 보였으며, 이는 데이터 양이 발화자 균형보다 더 중요할 수 있음을 시사한다.
• 다양한 도메인의 병합된 훈련 데이터로 훈련된 모델는 모든 테스트 조건에서 거의 최적의 성능을 달성하였으며, 이는 데이터 다양성이 강건성을 향상시킴을 입증한다.
• 확장된 100,000개 혼합물의 Mixer 6 훈련 세트는 주로 일치하는 조건에서 약간의 성능 향상을 보였으며, 원거리 환경에서 더 큰 이점이 관찰되었다.