[논문 리뷰] Multi-stage Speaker Extraction with Utterance and Frame-Level Reference Signals

Meng Ge, Chenglin Xu외 4명|arXiv (Cornell University)|2020. 11. 19.

Speech and Audio Processing참고 문헌 16인용 수 5

한 줄 요약

이 논문은 짧은 참조 음성에서 성능을 향상시키기 위해 문장 수준 및 프레임 수준의 화자 임베딩을 참조 신호로 활용하는 다단계 화자 추출 모델인 SpEx++를 제안한다. 추출된 음성을 두 번째 참조로 사용하여 화자 표현을 반복적으로 개선하고, 학습 가능한 가중치를 사용해 다중 스케일 출력을 융합함으로써, WSJ0-2mix 및 노이즈 있는 벤치마크( WHAM!, WHAMR! )에서 최신 기술 수준(SOTA) 성능을 달성한다. 단지 2초의 참조 샘플만으로도 이전 방법보다 최대 1.0 dB의 SI-SDRi 향상을 기록한다.

ABSTRACT

Speaker extraction requires a sample speech from the target speaker as the reference. However, enrolling a speaker with a long speech is not practical. We propose a speaker extraction technique, that performs in multiple stages to take full advantage of short reference speech sample. The extracted speech in early stages is used as the reference speech for late stages. For the first time, we use frame-level sequential speech embedding as the reference for target speaker. This is a departure from the traditional utterance-based speaker embedding reference. In addition, a signal fusion scheme is proposed to combine the decoded signals in multiple scales with automatically learned weights. Experiments on WSJ0-2mix and its noisy versions (WHAM! and WHAMR!) show that SpEx++ consistently outperforms other state-of-the-art baselines.

연구 동기 및 목표

• 짧은 참조 음성만 제공될 경우의 열악한 화자 추출 성능 문제를 해결한다.
• 문장 수준의 화자 임베딩만을 참조로 사용하는 단일 단계 모델의 한계를 극복한다.
• 화자 추출이 특히 어려운 노이즈 및 반향 환경에서의 강인성과 성능을 향상시킨다.
• 다중 스케일 출력을 자동으로 융합하여 최종 음성 품질을 향상시키는 신호 융합 기법을 개발한다.
• 추출된 음성을 보조 참조 신호로 사용해 반복적으로 표현을 개선하는 것이 성능 향상에 크게 기여함을 입증한다. 이는 더 긴 참조 입력이 필요로 하지 않는다.

제안 방법

• 각 단계에서 이전 단계의 추출된 목표 음성을 새로운 참조 신호로 사용하는 다단계 아키텍처를 제안한다.
• 목표 화자 음성의 시간적 동적 특성을 캡처하기 위해 두 번째 참조 신호로 프레임 수준의 순차적 음성 임베딩을 도입한다.
• 학습 가능한 가중치를 사용해 다중 스케일 복원 출력을 융합하는 신호 융합 전략을 적용하여 더 높은 품질의 최종 출력을 생성한다.
• 혼합 음성과 참조 음성을 동일한 잠재 공간에 매핑하기 위해 공유 가중치를 가진 쌍둥이 음성 인코더를 사용한다.
• 문장 수준 및 프레임 수준의 임베딩을 모두 사용해 목표 음성 복원을 위한 스케일별 마스크를 추정하는 화자 추출기 적용.
• 화자 예측을 위한 교차 엔트로피 손실과 신호 복원을 위한 다중 스케일 SI-SDR 손실을 조합한 다중 과제 목적 함수로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 짧은 참조 음성만 존재할 경우 다단계 화자 추출 프레임워크가 성능 향상에 기여하는가?
• RQ2 문장 수준의 임베딩 외에 프레임 수준의 순차적 화자 임베딩을 참조 신호로 포함시키면 성능 향상이 이루어지는가?
• RQ3 이전 단계의 추출 음성을 보조 참조 신호로 사용하는 것이 화자 표현 학습에 기여하는가?
• RQ4 학습 가능한 신호 융합 기법이 다중 스케일 출력을 융합해 음성 품질 향상에 얼마나 효과적인가?
• RQ5 제안된 방법이 조건에 특화된 재학습 없이도 노이즈 및 반향 조건에서 잘 일반화되는가?

주요 결과

• SpEx++는 단지 2초의 참조 음성만 사용할 경우 SpEx+ 기준 1.0 dB의 SI-SDRi 향상을 기록하여 극히 짧은 참조 입력에서도 뛰어난 성능을 보였다.
• 2단계 SpEx++는 문장 수준의 임베딩과 신호 융합을 추가함으로써 1단계 SpEx+보다 SDRi와 SI-SDRi에서 각각 0.3 dB 향상되었다.
• 학습 가능한 가중치(w1=1.18, w2=0.32, w3=0.11)를 사용한 신호 융합 전략은 고해상도 신호를 더 중시함으로써 성능 향상을 이끌어냈다.
• WHAM! 및 WHAMR! 데이터셋에서 SpEx++는 노이즈 조건에서 SpEx+보다 0.9 dB, 반향 조건에서 0.5 dB의 절대 SI-SDRi 향상을 기록했다.
• 청음, 노이즈, 반향, 노이즈-반향 조건 4가지에서 훈련된 유니버설 SpEx++ 모델은 노이즈 조건에서 14.6 dB, 반향 조건에서 11.2 dB, 노이즈-반향 조건에서 11.6 dB의 SI-SDRi 성능을 달성하며 잘 일반화됨을 보였다.
• 3단계 버전은 2단계 버전에 비해 약간의 성능 향상을 보였으며, 이는 문장 수준 및 프레임 수준 참조 간의 중복 정보로 인해 두 단계 이상일 경우 수익 감소 현상이 나타남을 시사한다.