[논문 리뷰] TF-GridNet: Making Time-Frequency Domain Models Great Again for Monaural Speaker Separation

Zhong-Qiu Wang, Samuele Cornell외 4명|arXiv (Cornell University)|2022. 09. 08.

Speech and Audio Processing인용 수 7

한 줄 요약

TF-GridNet은 단일 귀의 화자 분離를 위한 복소 시간-주파수(T-F) 도메인에서 작동하는 새로운 다중 경로 딥 네ural 네트워크를 제안한다. 이는 내부 프레임 주파수 성분, 서브밴드 시간 동적 성분, 전체 밴드 자기주도 주의 모듈을 활용하여 스펙트로-시간 패턴을 모델링한다. 복소 주파수 매핑과 새로운 혼합 일관성 손실를 사용함으로써, WSJ0-2mix에서 23.4 dB의 SI-SDRi 성능을 달성하여 이전의 최상위 시간 도메인 모델을 뛰어넘었다. 이는 적절히 설계된 T-F 도메인 모델이 시간 도메인 대비 모델을 능가할 수 있음을 보여준다.

ABSTRACT

We propose TF-GridNet, a novel multi-path deep neural network (DNN) operating in the time-frequency (T-F) domain, for monaural talker-independent speaker separation in anechoic conditions. The model stacks several multi-path blocks, each consisting of an intra-frame spectral module, a sub-band temporal module, and a full-band self-attention module, to leverage local and global spectro-temporal information for separation. The model is trained to perform complex spectral mapping, where the real and imaginary (RI) components of the input mixture are stacked as input features to predict target RI components. Besides using the scale-invariant signal-to-distortion ratio (SI-SDR) loss for model training, we include a novel loss term to encourage separated sources to add up to the input mixture. Without using dynamic mixing, we obtain 23.4 dB SI-SDR improvement (SI-SDRi) on the WSJ0-2mix dataset, outperforming the previous best by a large margin.

연구 동기 및 목표

• 비향상 조건에서 단일 귀, 화자 독립적 화자 분리에 대해 시간 도메인 모델과 시간-주파수(T-F) 도메인 모델 간의 성능 격차를 해소하기 위해.
• 2019년 이후 주로 사용되는 현대 시간 도메인 모델(TasNet 등)과 비교해, T-F 도메인에서의 복소 주파수 매핑이 성능 면에서 뛰어나지 못할 가능성에 대해 조사하기 위해.
• T-F 스펙트로그램 내 국소(스펙트럼 및 시간) 및 전역(프레임 간) 종속성을 효과적으로 포착할 수 있는 다중 경로 DNN 아키텍처를 설계하기 위해.
• 분리된 소스 신호의 합이 원래 혼합 신호를 재구성하도록 유도하는 새로운 시간 도메인 손실 항목을 도입하여 소스 일관성 향상시키기 위해.
• T-F 도메인 모델이 본질적으로 열 劣하지 않으며, 성능이 열 劣한 것은 아키텍처나 학습 방식의 비최적성 때문이며 본질적 제약 때문이 아니라는 것을 입증하기 위해.

제안 방법

• TF-GridNet은 세 개의 병렬 브랜치로 구성된 다중 경로 아키텍처를 사용한다: 국소 주파수 패턴을 위한 내부 프레임 스펙트럼 모듈, 짧은 기간 시간 동적 패턴을 위한 서브밴드 시간 모듈, 장거리 프레임 간 종속성을 위한 전체 밴드 자기주도 주의 모듈.
• 입력 혼합 신호의 실수부와 허수부(RI) 성분을 입력 특징으로 사용하여 복소 주파수 매핑을 수행하고, 각 목표 화자의 RI 성분을 예측한다.
• DPRNN과 DPTNet에서 영감을 얻은 이중 경로 구조를 사용하여 주파수 밴드와 시간 프레임을 병렬로 처리하여 주파수 간 및 프레임 간 관계를 모델링한다.
• 예측된 소스 신호의 합이 원래 혼합 신호에 가까워지도록 유도하는 새로운 혼합 일관성 손실를 도입하였다.
• 동적 혼합이나 데이터 증강 없이도 스케일 불변 신호 대 잡음 비율(SI-SDR) 손실와 새로운 혼합 일관성 손실를 조합하여 학습하였다.
• T-F 단위를 효율적으로 처리하기 위해 Unfold 및 Deconv1D 연산을 사용하여 더 넓은 수신장(Receptive Field)을 확보하면서도 메모리 소비를 줄였다.

Fig. 1 : Overview of proposed system.

실험 결과

연구 질문

• RQ1 시간-주파수 도메인에서의 복소 주파수 매핑이, 2019년 이후 주로 사용되는 최신 시간 도메인 모델(Conv-TasNet, DPRNN 등)을 능가할 수 있는가?
• RQ2 다중 경로 T-F 모델에 전체 밴드 자기주도 주의 모듈을 통합할 경우, 장거리 시간 동적 종속성을 포착함으로써 성능 향상이 뚜렷하게 이루어지는가?
• RQ3 소스 신호 합의 일관성을 강제하는 새로운 시간 도메인 손실항목이 동적 혼합이나 데이터 증강 없이도 분리 성능 향상에 기여하는가?
• RQ4 시간 도메인 모델과 T-F 도메인 모델 간의 성능 격차는 본질적인 표현 능력의 한계가 아니라 아키텍처적 제약 때문인가?
• RQ5 복소 주파수 매핑을 적용한 잘 설계된 T-F 모델이 시간 도메인 모델 대비 더 뛰어난 일반화 능력과 강건성을 확보할 수 있는가?

주요 결과

• TF-GridNet은 WSJ0-2mix 데이터셋에서 23.4 dB의 SI-SDRi 성능을 달성하여 이전 최상위 시간 도메인 모델(QDPN)의 22.1 dB SI-SDRi를 뛰어넘었다.
• 동적 혼합이나 데이터 증강을 사용하지 않음에도 불구하고, 이는 아키텍처 및 손실 설계의 효과성을 입증한다.
• 전체 밴드 자기주도 주의 모듈을 포함시킴으로써 성능이 22.5 dB에서 22.9 dB로 향상되었으며, 4개의 주의 헤드가 1개의 헤드보다 더 좋은 성능을 보였다.
• 모델 크기를 증가시켜(특히 임bedding 차원 D와 히든 유닛 수 H를 증가시킴) 일관된 성능 향상이 이루어졌으며, D=32와 H=256일 때 최종적으로 23.4 dB SI-SDRi를 달성하였다.
• Unfold 및 Deconv1D 메커니즘을 통해 더 넓은 수신장을 확보하면서도 메모리 소비를 줄일 수 있었으며, D=16과 I=8일 때에도 성능 유지가 가능했다.
• 새로운 혼합 일관성 손실는 SI-SDRi를 21.6 dB에서 21.8 dB로 0.2 dB 향상시켜 신호 일관성 강화의 효과를 입증하였다.

Fig. 2 : Proposed full-band self-attention module.