[논문 리뷰] Distributed speech separation in spatially unconstrained microphone arrays

Nicolas Furnon, Romain Serizel외 2명|arXiv (Cornell University)|2020. 11. 02.

Speech and Audio Processing참고 문헌 26인용 수 5

한 줄 요약

이 논문은 시간-주파수 마스크를 노드 간에 추정하기 위해 컨volutional 순환 신경망(CRNN)을 사용하는 분산 음성 분리 알고리즘을 제안한다. 공간적으로 제약이 없는 마이크 배열을 대상으로 하며, 먼저 각 소스를 별도로 추정한 후 이러한 추정치를 네트워크 전반에 걸쳐 전파함으로써, 특히 노드 수가 소스 수와 동일하거나 이를 초과할 경우 오라클 성능에 가까운 성능을 달성한다.

ABSTRACT

Speech separation with several speakers is a challenging task because of the non-stationarity of the speech and the strong signal similarity between interferent sources. Current state-of-the-art solutions can separate well the different sources using sophisticated deep neural networks which are very tedious to train. When several microphones are available, spatial information can be exploited to design much simpler algorithms to discriminate speakers. We propose a distributed algorithm that can process spatial information in a spatially unconstrained microphone array. The algorithm relies on a convolutional recurrent neural network that can exploit the signal diversity from the distributed nodes. In a typical case of a meeting room, this algorithm can capture an estimate of each source in a first step and propagate it over the microphone array in order to increase the separation performance in a second step. We show that this approach performs even better when the number of sources and nodes increases. We also study the influence of a mismatch in the number of sources between the training and testing conditions.

연구 동기 및 목표

• 공간적으로 분산된 마이크 어레이를 사용하여 반향이 강한 다중 화자 환경에서의 음성 분리 과제를 해결한다.
• 중심 집중식 처리 방식을 대체하여 처리를 노드 간에 분산시킴으로써 딥러닝 기반 분리의 계산 복잡도를 감소시킨다.
• 다양한 마이크에서의 공간적 다양성을 활용하여 중앙 집중식 처리에 의존하지 않고도 분리 성능을 향상시킨다.
• 학습 조건과 테스트 조건에서 소스 수가 다를 경우의 알고리즘의 강건성에 대해 조사한다.
• 단일 노드 처리 방식에 비해 소스 마스크의 분산 추정 방식이 분리 성능 향상에 기여하는지 실험한다.

제안 방법

• 두 단계로 구성된 분산 처리 프레임워크를 사용한다: 첫 번째 단계에서 각 노드는 로컬 데이터를 기반으로 CRNN를 사용해 서로 다른 화자의 신호를 추정한다.
• 두 번째 단계에서 각 노드는 네트워크 전반에 걸쳐 자신의 추정된 소스 신호를 교환하여 음향 환경에 대한 전역적 시각을 확보한다.
• 통신 오버헤드를 줄이면서도 공간 정보를 유지하기 위해 노드 간에 압축된 신호를 교환한다.
• 시간-주파수 마스크(IRM, MWF 등)를 사용하여 CRNN가 소스 신호를 추정하도록 유도하며, 마스크는 노드 간에 반복적으로 업데이트된다.
• 고정된 소수의 소스를 가진 혼합 신호로 CRNN를 훈련한 후, 소스 수가 다를 수 있는 시나리오로의 일반화 능력을 평가한다.
• 두 번째 단계에서 전파된 추정치를 기반으로 빔포밍 기법(MVDR, MWF 등)을 적용하여 분리 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 공간적으로 제약이 없는 마이크 어레이에서 분산 처리 방식이 단일 노드 처리 방식에 비해 음성 분리 성능 향상에 기여하는가?
• RQ2 소스 수와 노드 수가 증가함에 따라 제안된 방법의 성능가 어떻게 변화하는가?
• RQ3 학습 시와 테스트 시 소스 수가 다를 경우 알고리즘의 강건성에 어떤 영향을 미치는가?
• RQ4 노드 간에 소스 추정치를 전파함으로써 국소적 추정을 초월한 분리 정확도 향상이 이루어지는가?
• RQ5 노드 수가 소스 수를 초과하거나 소스 수가 노드 수를 초과하는 경우에도 성능을 유지할 수 있는가?

주요 결과

• 다중 노드 분산 CRNN 방식은 단일 노드 및 전통적인 빔포밍 방법보다 성능이 뛰어나며, 특히 노드 수가 소스 수와 동일하거나 이를 초과할 경우 두드러진다.
• 두 소스에 대해 노드 수를 K=2에서 K=3으로 늘일 경우 성능이 지속적으로 향상되며, 이는 더 어려운 조건(더 많은 소스)에서 훈련함으로써 일반화 능력이 향상됨을 시사한다.
• 과다 결정된 경우(K > N)에도 알고리즘이 강건하게 유지되지만, 노드가 침묵하는 신호를 추정할 경우(예: 앞에 화자가 없을 경우) 빔포밍이 침묵한 입력에 대해 수행되면서 성능이 약간 저하된다.
• 부족 결정된 경우(K < N)에서는 훈련과 테스트 조건의 불일치로 인해 다중 노드 CRNN가 단일 노드 기반 모델보다 성능이 열 劣하므로, 변동하는 소스 수로 재훈련이 필요함을 시사한다.
• 균형 잡힌 시나리오(N=K)에서는 거의 오라클 성능에 도달함으로써 분산 추정 및 공간 정보 공유의 효과성을 입증한다.
• 과다 결정된 경우의 침묵 신호 문제는 비활성 노드를 동적으로 탐지할 수 있는 기법이 필요함을 시사한다.