[논문 리뷰] End-to-end Microphone Permutation and Number Invariant Multi-channel Speech Separation

Yi Luo, Zhuo Chen외 2명|arXiv (Cornell University)|2019. 10. 30.

Speech and Audio Processing참고 문헌 24인용 수 7

한 줄 요약

이 논문은 마이크 순서와 수에 관계없이 작동하는 새로운 엔드투엔드 모듈인 Transform-Average-Concatenate (TAC)을 제안한다. TAC는 필터-합 네트워크(FaSNet)를 개선하여 공유된 특징 변환, 채널별 평균화, 개별 채널 특징과의 연결을 통해 전역적이고 순서 불변 처리를 가능하게 하여, 다양한 마이크 수와 배열 구성(고정형 및 일시적 설정 포함)에서 분리 성능을 크게 향상시킨다.

ABSTRACT

An important problem in ad-hoc microphone speech separation is how to guarantee the robustness of a system with respect to the locations and numbers of microphones. The former requires the system to be invariant to different indexing of the microphones with the same locations, while the latter requires the system to be able to process inputs with varying dimensions. Conventional optimization-based beamforming techniques satisfy these requirements by definition, while for deep learning-based end-to-end systems those constraints are not fully addressed. In this paper, we propose transform-average-concatenate (TAC), a simple design paradigm for channel permutation and number invariant multi-channel speech separation. Based on the filter-and-sum network (FaSNet), a recently proposed end-to-end time-domain beamforming system, we show how TAC significantly improves the separation performance across various numbers of microphones in noisy reverberant separation tasks with ad-hoc arrays. Moreover, we show that TAC also significantly improves the separation performance with fixed geometry array configuration, further proving the effectiveness of the proposed paradigm in the general problem of multi-microphone speech separation.

연구 동기 및 목표

• 마이크 위치와 수가 변할 경우에도 강건한 딥러닝 기반 엔드투엔드 다채널 음성 분리 시스템의 부족함을 보완하기 위해.
• 기존 엔드투엔드 빔포머가 마이크 순서에 민감하고 고정된 입력 차원을 요구하는 한계를 극복하기 위해.
• 모든 이용 가능한 마이크 신호를 사용하여 전역적이고 순서 불변 처리가 가능한 간단하고 모듈화된 구성 요소를 설계하기 위해.
• 일시적(고정되지 않은) 및 고정 기하학적 마이크 어레이 구성 모두에서 성능을 향상시키기 위해.

제안 방법

• TAC는 각 마이크의 특징을 공유된 변환 하위 모듈을 통해 처리하여 채널 간 파라미터 공유를 보장한다.
• 변환된 특징을 채널 간 평균화하여 전역적이고 순서 불변 표현을 형성한다.
• 이 평균화된 표현은 두 번째 하위 모듈을 통과하여 전역적 맥락을 학습한 후, 개별 채널의 변환된 특징과 연결된다.
• 연결된 특징는 세 번째 하위 모듈을 통해 전달되며, 이는 채널별 출력을 생성하여 局소적 결정을 가능하게 하면서도 전역 맥락을 유지한다.
• 이 아키텍처는 FaSNet 프레임워크에 원활하게 통합되어 처리 블록을 대체하거나 강화함으로써 엔드투엔드, 순서 및 수 불변 학습을 가능하게 한다.
• 평균화 연산과 공유된 파라미터 덕분에 마이크 인덱싱과 입력 차원에 대해 불변성을 확보한다.

실험 결과

연구 질문

• RQ1 간단한 엔드투엔드 모듈이 다채널 음성 분리에서 마이크 순서와 수의 변화에 대해 강건성을 향상시킬 수 있는가?
• RQ2 마이크 기하학적 배열과 수가 알려져 있지 않은 일시적 마이크 어레이 구성에서 TAC는 FaSNet의 성능을 어떻게 향상시키는가?
• RQ3 고정 기하학적 어레이 설정에서도 TAC는 성능 향상을 이룰 수 있는가? (마이크 위치가 알려져 있고 안정적인 경우)
• RQ4 필터 추정에서의 열악한 사전 분리 또는 제한된 주파수 해상도로 인한 성능 저하를 TAC가 완화할 수 있는가?
• RQ5 TAC는 빔포밍 필터 추정에서 모든 마이크로부터의 전역 정보를 얼마나 잘 활용할 수 있는가?

주요 결과

• TAC는 일시적 어레이 구성에서 마이크 수가 2, 4, 6일 때 모두 분리 성능을 크게 향상시키며, 특히 신호 겹침이 높은 조건에서 가장 큰 성능 향상을 보였다.
• 단일 단계 FaSNet에 TAC를 적용한 결과, 사전 분리 단계가 없는 상태에서 원본 이중 단계 FaSNet 및 TasNet 기반 모델보다도 뛰어난 성능을 기록했다.
• TAC는 마이크 수 증가에 따라도 안정적인 성능을 유지하여 기존 모델에서 발생하는 성능 저하를 방지했다.
• 고정 기하학적 어레이에서는 원본 FaSNet 대비 성능 향상을 보이며, 일시적 설정 외의 환경에서도 효과적임을 입증했다.
• TAC는 성능 저하 없이 더 작은 윈도우 크기(예: 4 ms)를 사용할 수 있게 해주어 주파수 해상도가 낮아지는 데에도 강건함을 보였다.
• TasNet에서 특징 연결이 성능 저하를 유발할 수 있는 상황에서도 TAC는 전역적 특징 통합 측면에서 우수한 성능을 보이며, TAC의 장점을 입증했다.