[논문 리뷰] Enhancing End-to-End Multi-channel Speech Separation via Spatial Feature Learning

Rongzhi Gu, Shixiong Zhang외 6명|arXiv (Cornell University)|2020. 03. 09.

Speech and Audio Processing참고 문헌 17인용 수 4

한 줄 요약

이 논문은 원시 파형에서 직접 공간 특징을 학습하는 엔드 투 엔드 다중채널 음성 분리 모델을 제안한다. 2차원 합성곱층을 사용하여 채널 간 합성곱 차이(Inter-channel Convolution Differences, ICD)를 계산함으로써 수작업으로 설계된 채널 간 위상 차이(Inter-channel Phase Differences, IPD)의 데이터 기반 대체 방법을 제시한다. ICD 기반 모델은 시뮬레이션된 WSJ0 2-mix 데이터셋에서 IPD 기반 모델 대비 SI-SDRi를 10.4% 향상시켜, 공간 특징을 엔드 투 엔드로 최적화함으로써 뛰어난 성능을 입증한다.

ABSTRACT

Hand-crafted spatial features (e.g., inter-channel phase difference, IPD) play a fundamental role in recent deep learning based multi-channel speech separation (MCSS) methods. However, these manually designed spatial features are hard to incorporate into the end-to-end optimized MCSS framework. In this work, we propose an integrated architecture for learning spatial features directly from the multi-channel speech waveforms within an end-to-end speech separation framework. In this architecture, time-domain filters spanning signal channels are trained to perform adaptive spatial filtering. These filters are implemented by a 2d convolution (conv2d) layer and their parameters are optimized using a speech separation objective function in a purely data-driven fashion. Furthermore, inspired by the IPD formulation, we design a conv2d kernel to compute the inter-channel convolution differences (ICDs), which are expected to provide the spatial cues that help to distinguish the directional sources. Evaluation results on simulated multi-channel reverberant WSJ0 2-mix dataset demonstrate that our proposed ICD based MCSS model improves the overall signal-to-distortion ratio by 10.4% over the IPD based MCSS model.

연구 동기 및 목표

• 수작업으로 설계된 공간 특징(예: IPD)과 데이터 기반 엔드 투 엔드 음성 분리 프레임워크 간의 데이터 불일치 문제를 해결하기 위해.
• 고정된 사전 계산된 특징에 의존하지 않고 원시 파형에서 직접 공간 특징을 학습하는 완전한 엔드 투 엔드 MCSS 시스템을 개발하기 위해.
• 원거리 음성 분리에서 위상 재구성 및 반향 효과의 한계를 극복하기 위해 학습된 공간 표현을 통합하기 위해.
• 학습된 공간 특징 학습 메커니즘인 채널 간 합성곱 차이(Inter-channel Convolution Differences, ICD)를 제안하여 분리 목표와 함께 공동 최적화되도록 하기 위해.

제안 방법

• 다중 마이크로폰 채널에 걸쳐 시간 도메인 공간 필터를 학습하기 위해 2차원 합성곱층을 사용하여 원시 파형에서 유연한 공간 필터링을 가능하게 한다.
• IPD의 수학적 공식에 영감을 얻어 설계된 특수한 conv2d 커널을 사용하여 채널 간 합성곱 차이(ICD)를 계산한다.
• 에코더-디코더 아키텍처는 STFT와 iSTFT를 학습 가능한 필터로 대체하여 시간적 정렬을 유지하고 엔드 투 엔드 학습을 가능하게 한다.
• ICD는 윈도우 함수 $ w $ 를 사용해 계산되며, 정확한 차이 계산을 위해 초기화 시 -1로 설정되고, 최적의 공간 표현에 적응하기 위해 학습 가능한 것으로 설정된다.
• 모델은 스케일 불변 신호 대 간섭비(SI-SDR)를 목적 함수로 사용하며, 스피커 레이블의 모호성을 처리하기 위해 순열 불변 학습(Permutation-Invariant Training)을 적용한다.
• 아키텍처는 ICD를 에코더 출력 및 분리 모듈에 통합하여 네트워크가 음성 분리와 공간 특징 학습을 함께 최적화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 2차원 합성곱층을 통해 원시 파형에서 직접 계산된 학습된 공간 특징이 엔드 투 엔드 다중채널 음성 분리에서 수작업으로 설계된 채널 간 위상 차이(IPD)보다 우월한가?
• RQ2 학습된 공간 표현과 함께 엔드 투 엔드로 최적화된 분리 목표와 함께 제안된 채널 간 합성곱 차이(ICD) 메커니즘이 IPD보다 더 효과적인 공간 특징을 제공하는가?
• RQ3 ICD 커널의 초기화 및 학습 가능성은 분리 성능에 어떤 영향을 미치는가?
• RQ4 저주파수 영역에서 ICD의 기여는 무엇이며, IPD 기반 특징과 보완적인가?
• RQ5 ICD와 IPD를 통합하면 특히 어려운 각도 분리 조건에서 성능 향상이 더 크게 이루어지는가?

주요 결과

• ICD 기반 MCSS 모델은 시뮬레이션된 WSJ0 2-mix 데이터셋에서 IPD 기반 모델 대비 SI-SDRi 성능을 10.4% 향상시켰다.
• 33개 필터와 학습 가능한 ICD 커널 초기화를 사용한 모델은 SI-SDRi 12.3 dB를 기록하여 베이스라인 SC-Conv-TasNet(9.1 dB)과 IPD 기반 모델(11.5 dB)을 모두 초월했다.
• ICD 기반 모델은 IPD 기반 모델 대비 0.4 dB 향상된 성능을 보였으며, 이는 데이터 기반 공간 특징이 수작업 특징보다 더 효과적일 수 있음을 시사한다.
• 소규모 각도 차이(<15°) 조건에서는 ICD 기반 모델의 성능이 뚜렷이 열등한데, 이는 이 범위에서의 훈련 데이터가 부족하기 때문으로 보인다.
• ICD와 cosIPD, sinIPD를 조합하면 최고의 성능(12.4 dB SI-SDRi)을 기록했으며, 이는 두 특징 간 보완적인 공간 정보가 있음을 시사한다.
• 학습된 필터의 시각화 결과 ICD는 주로 저주파 성분에 반응함을 확인했으며, 이는 IPD와 보완적인 공간 특징을 캡처하고 있음을 의미한다.