[논문 리뷰] Semi-supervised Time Domain Target Speaker Extraction with Attention

Zhepei Wang, Ritwik Giri외 6명|arXiv (Cornell University)|2022. 06. 18.

Speech Recognition and Synthesis인용 수 7

한 줄 요약

이 논문은 목표 화자 추출을 위한 시간 도메인 트랜스포머 기반 아키텍처인 Exformer을 제안한다. 이 모델은 사전 훈련된 화자 임베딩 기반 모델과 이중 경로 트랜스포머 블록 내의 다중 헤드 어텐션 메커니즘을 활용한다. 모델은 지도 학습에서 최신 기술 수준의 성능을 달성하며, 비지도 학습을 위한 이중 단계 훈련 절차를 통해 추가로 향상된다. 비지도 데이터가 10% 포함된 훈련 배치에서 지도 학습 기반 모델 대비 0.6 dB의 SI-SDR 향상을 기록한다.

ABSTRACT

In this work, we propose Exformer, a time-domain architecture for target speaker extraction. It consists of a pre-trained speaker embedder network and a separator network based on transformer encoder blocks. We study multiple methods to combine speaker information with the input mixture, and the resulting Exformer architecture obtains superior extraction performance compared to prior time-domain networks. Furthermore, we investigate a two-stage procedure to train the model using mixtures without reference signals upon a pre-trained supervised model. Experimental results show that the proposed semi-supervised learning procedure improves the performance of the supervised baselines.

연구 동기 및 목표

• 목표 화자 추출(TSE)을 위한 시간 도메인 신경망을 개발하여 화자 임베딩과 자기 어텐션 메커니즘을 효과적으로 통합한다.
• 트랜스포머 기반 분리기에서 화자 임베딩과 혼합 신호 표현 간의 다양한 융합 전략(연결, 곱셈, 덧셈)이 미치는 영향을 조사한다.
• 비지도 음성 혼합물을 활용하여 지도 학습 기반 모델을 초월하는 TSE 성능 향상을 달성하는 이중 단계 비지도 학습 프레임워크를 탐색한다.
• 비지도 설정에서 사전 훈련된 화자 임베더를 복원 손실과 함께 사용할 경우의 효과를 평가한다.

제안 방법

• Exformer 아키텍처는 등록 음성에서 고정된 차원의 화자 임베딩을 추출하기 위해 사전 훈련된 BLSTM 기반 화자 임베더를 사용한다.
• 분리기 네트워크는 이중 경로 트랜스포머 블록 기반으로 구성되며, 각 블록은 분할된 혼합 신호 표현을 다중 헤드 어텐션으로 처리하고, 요소별 덧셈, 곱셈 또는 연결을 통해 화자 임베딩 융합을 적용한다.
• 마스킹 네트워크는 분할 모듈, 임베딩 유도 이중 경로 처리 및 겹침 복원을 통해 시간-주파수 마스크를 추정한다.
• 이중 단계 훈련 절차를 적용한다: 첫 번째 단계에서는 음성 혼합물에 대한 음성 신호의 SI-SDR 손실을 최소화하는 데 초점을 맞춘 지도 학습을 수행하고, 두 번째 단계에서는 지도 데이터와 비지도 혼합물을 조합하여 화자 임베더 복원 손실을 적용한 미세 조정을 수행한다.
• 두 번째 단계에서 임베더 손실을 적용하여 화자 임베딩 공간을 분리 작업과 일치시켜 비지도 데이터에서의 일반화 능력을 향상시킨다.
• 모델은 스케일된 학습률 스케줄러를 사용하며, 지도 학습 데이터와 가짜 레이블이 부여된 비지도 데이터의 조합을 사용하여 훈련한다. 비지도 데이터 비율은 실험에 따라 다양하게 설정된다.

실험 결과

연구 질문

• RQ1 화자 임베딩 융합 전략(연결, 곱셈, 덧셈)의 선택이 트랜스포머 기반 TSE 시스템의 성능에 미치는 영향은 어떠한가?
• RQ2 참고 신호 없이 비지도 음성 혼합물을 활용할 경우, 이중 단계 비지도 학습 절차가 TSE 성능 향상에 기여하는가?
• RQ3 두 번째 훈련 단계에서 화자 임베더 복원 손실을 통합하면 비지도 데이터에서의 모델 일반화 능력과 성능 향상이 이루어지는가?
• RQ4 시간 도메인 TSE에서 비지도 학습을 위한 최적의 비지도 데이터 대 지도 학습 데이터 비율은 얼마인가?

주요 결과

• 화자 임베딩의 덧셈 융합을 사용한 Exformer가 융합 방식 중에서 가장 높은 성능을 기록하여 지도 학습 조건에서 SI-SDR 19.85 dB, PESQ 3.82를 달성한다.
• 덧셈 융합 전략은 곱셈 대비 0.3 dB, 연결 대비 0.8 dB의 SI-SDR 향상을 기록하여 화자 정체성에 대한 조건부 정보를 효과적으로 제공함을 입증한다.
• 비지도 혼합물을 10% 포함하는 이중 단계 비지도 학습 절차는 지도 학습 기반 모델 대비 0.6 dB의 SI-SDR 향상(20.21 dB)을 이끌어내며, PESQ 역시 약간 향상되어 3.83으로 개선된다.
• 두 번째 단계에서 임베더 손실을 적용하면 성능 향상이 이루어지지만, 이는 지도 학습 모델에서 초기화된 경우에만 성립한다. 무작위 초기화 시 임베더 손실 적용은 성능 저하를 초래한다.
• 비지도 데이터 샘플링 비율이 10%일 때 성능이 최고에 이르며, 이보다 더 높은 비율(25%, 50%)로 증가하면 성능 저하가 발생한다. 이는 과적합 또는 노이즈가 많은 가짜 레이블의 영향일 가능성이 높다.
• TseNet 및 SpEx+와 같은 이전의 시간 도메인 TSE 방법들을 능가하는 성능을 기록하여, 적절한 융합 전략과 비지도 학습을 적용한 트랜스포머 기반 아키텍처의 우수성을 확인한다.