[논문 리뷰] Recursive speech separation for unknown number of speakers

Naoya Takahashi, Parthasaarathy Sudarsanam외 2명|arXiv (Cornell University)|2019. 04. 05.

Speech and Audio Processing참고 문헌 20인용 수 6

한 줄 요약

이 논문은 단일 모델을 사용하여 알려지지 않은 수의 화자로부터 단일 채널 혼합 신호에서 화자를 분리하기 위해 one-and-rest 순열 불변 훈련(OR-PIT)을 사용하는 재귀적 음성 분리 방법을 제안한다. 한 명의 화자를 단계적으로 분리하고 잔여 신호에 다시 모델을 적용함으로써, 2명 및 3명 화자 혼합에서 최신 기술 성능을 달성하며, 재훈련 없이도 예측되지 않은 4명 화자 혼합에 일반화된다.

ABSTRACT

In this paper we propose a method of single-channel speaker-independent multi-speaker speech separation for an unknown number of speakers. As opposed to previous works, in which the number of speakers is assumed to be known in advance and speech separation models are specific for the number of speakers, our proposed method can be applied to cases with different numbers of speakers using a single model by recursively separating a speaker. To make the separation model recursively applicable, we propose one-and-rest permutation invariant training (OR-PIT). Evaluation on WSJ0-2mix and WSJ0-3mix datasets show that our proposed method achieves state-of-the-art results for two- and three-speaker mixtures with a single model. Moreover, the same model can separate four-speaker mixture, which was never seen during the training. We further propose the detection of the number of speakers in a mixture during recursive separation and show that this approach can more accurately estimate the number of speakers than detection in advance by using a deep neural network based classifier.

연구 동기 및 목표

• 화자 수가 알려지지 않거나 변동성이 있는 단일 채널 다화자 음성 분리 문제에 대응한다.
• 훈련 중에 관찰하지 못한 다양한 화자 수에 대해 일반화 가능한 통합 딥러닝 모델을 개발한다.
• 한 명의 화자를 단계적으로 분리함으로써 내성적 안정성과 확장성을 향상시키는 재귀적 분리 프레임워크를 설계한다.
• 추론 중에 화자 수를 동적으로 감지할 수 있는 신뢰할 수 있는 반복 종료 메커니즘을 도입한다.
• 사전에 화자 수를 알지 못한 채 다수의 화자로 이루어진 혼잡한 환경에서 가장 두드러진 화자를 고품질로 분리할 수 있도록 한다.

제안 방법

• 모델이 순열 불변 방식으로 한 명의 화자를 나머지 화자들로부터 분리할 수 있도록 하는 새로운 훈련 목표인 one-and-rest 순열 불변 훈련(OR-PIT)을 제안한다. 이는 재귀적 적용을 가능하게 한다.
• 훈련된 모델을 재귀적으로 적용한다: 먼저 한 명의 화자를 분리한 후, 잔여 신호를 다시 모델에 입력하여 다음 반복을 수행한다.
• 잔여 신호에 음성 또는 노이즈가 포함되어 있는지 감지하기 위해 이진 분류기(기반: AlexNet)를 사용하여 재귀의 정지 기준을 제공한다.
• 두 번째 출력 채널에서 유래한 잔여 신호를 기반으로 이진 분류기를 훈련하여, 더 이상 화자가 남아 있지 않을 때를 감지함으로써 자동 종료를 가능하게 한다.
• 재귀적 특성을 활용해 가장 두드러진 화자를 먼저 분리함으로써 전체 분리 품질을 향상시킨다.
• 모든 재귀 단계에서 공통된 모델 아키텍처(Cony-TasNet-gLN)를 사용하여 파라미터 효율성과 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 훈련 중에 관찰하지 못한 화자 수를 포함해 다양한 화자 수에 대해 단일 딥러닝 모델이 일반화 가능한가?
• RQ2 다중 반복 동안 높은 성능을 유지할 수 있도록 재귀적 분리 프레임워크를 효과적으로 훈련할 수 있는가?
• RQ3 사전 지식 없이도 화자 수를 신뢰할 수 있고 데이터 기반으로 감지할 수 있는 정지 기준을 개발할 수 있는가?
• RQ4 재귀적 분리가 고정된 화자 수를 가정하는 종단 간 모델보다 성능이 뛰어나게 되는가?
• RQ5 모델이 그러한 혼합물에 대해 훈련되지 않은 상태에서도 다수의 화자(예: 10–50명) 혼합물에서 가장 두드러진 화자를 성공적으로 분리할 수 있는가?

주요 결과

• 제안된 OR-PIT를 사용한 재귀적 방법은 단일 모델을 사용하여 WSJ0-2mix 및 WSJ0-3mix 데이터셋에서 최신 기술 성능을 달성한다.
• 훈련 중에 관찰하지 못한 4명 화자 혼합물에 대해 일반화되며, 세 번의 재귀적 반복을 통해 놀랍게 높은 분리 품질을 기록한다.
• 반복 종료를 위한 이진 분류기는 잔여 신호의 음성/노이즈 감지에서 95.7%의 정확도를 달성하여 다중 클래스 화자 수 세기 분류기(77.9% 정확도)를 능가한다.
• 모델은 50명의 간섭 화자까지 포함된 혼합물에서도 주로 두드러진 화자 분리의 SI-SNR을 일관되게 향상시키며, 그러한 데이터에 대한 미세조정 없이도 성능을 유지한다.
• 재귀적 접근은 자연스럽게 가장 두드러진 화자를 우선으로 분리함으로써 첫 번째 반복에서 가장 높은 품질의 분리를 제공하며, 후속 화자에 대해서는 점진적인 품질 저하가 발생한다.
• 모델이 아키텍처나 훈련 수정 없이도 알려지지 않은 화자 수를 처리할 수 있는 능력은 강력한 일반화성과 내성적 안정성을 보여준다.