[논문 리뷰] Disentangling Voice and Content with Self-Supervision for Speaker Recognition

Tianchi Liu, Kong Aik Lee외 2명|arXiv (Cornell University)|2023. 10. 02.

Speech Recognition and Synthesis인용 수 5

한 줄 요약

이 논문은 세 개의 가우시안 추론 레이어와 강화된 전이 모델을 사용하여 화자 특성과 음성 내용을 분리하는 자기지도 학습 분리 프레임워크인 RecXi를 제안한다. 화자 신원 레이블만을 활용하고 텍스트 애너테이션이나 추가 모델을 피함으로써 RecXi는 VoxCeleb와 SITW에서 각각 평균 EER 9.56%와 minDCF 8.24% 감소를 달성하여 추가 데이터나 학습 없이도 뛰어난 화자 인식 성능을 보여준다.

ABSTRACT

For speaker recognition, it is difficult to extract an accurate speaker representation from speech because of its mixture of speaker traits and content. This paper proposes a disentanglement framework that simultaneously models speaker traits and content variability in speech. It is realized with the use of three Gaussian inference layers, each consisting of a learnable transition model that extracts distinct speech components. Notably, a strengthened transition model is specifically designed to model complex speech dynamics. We also propose a self-supervision method to dynamically disentangle content without the use of labels other than speaker identities. The efficacy of the proposed framework is validated via experiments conducted on the VoxCeleb and SITW datasets with 9.56% and 8.24% average reductions in EER and minDCF, respectively. Since neither additional model training nor data is specifically needed, it is easily applicable in practical use.

연구 동기 및 목표

• 화자 인식에서 내용 변동성이 정확한 화자 표현 학습을 방해하는 문제를 해결하기 위해.
• 텍스트 레이블이 필요 없이 정적(화자 관련) 및 동적(내용 관련) 성분을 음성에서 분리하는 분리 프레임워크를 개발하기 위해.
• 화자 신원 지도만을 사용하여 동적 내용 분리를 유도할 수 있는 자기지도 손실을 설계하기 위해.
• 사전 학습된 ASR 모델이나 다중 작업 학습의 계산 및 데이터 오버헤드를 피하는 경량이고 구현 가능한 솔루션을 만들기 위해.
• 순환 전이 기반의 시간 동적 특성을 모델링하여 화자 임베딩 품질을 향상시키기 위해.

제안 방법

• 프레임워크는 세 개의 가우시안 추론 레이어를 사용한다: 첫 번째 레이어는 근사적인 화자 표현을 학습하고, 두 번째 레이어는 동적 전이 모델을 통해 내용을 분리하며, 세 번째 레이어는 내용을 기준으로 하여 화자 임베딩을 정밀화한다.
• 복잡한 음성 동적 특성을 포착하기 위해 강화된 전이 모델을 도입하여 내용 관련 성분의 분리 성능을 향상시킨다.
• 자기지도 학습은 새로운 손실 $\mathcal{L}_{\rm ssp}$ 를 통해 구현되며, 텍스트 애너테이션 없이 화자 신원만을 사용하여 내용 분리를 유도한다.
• 학습 가능한 전이 메커니즘이 정적(화자) 및 동적(내용) 성분을 잠재 요소를 통해 모델링한다.
• 정적 레이어에서 화자 분류 손실과 내용 분리에 대한 자기지도 학습을 동시에 적용하여 엔드 투 엔드로 학습되며, 이는 레이블 없는 내용 모델링을 가능하게 한다.
• 동적 성분은 시간 인식 전이 레이어 $\mathbf{G}_{t}$ 를 통해 모델링되며, 다양한 음성 변동을 포착하기 위해 다수의 미니 전이 모델을 사용한다.

실험 결과

연구 질문

• RQ1 텍스트 레이블이나 외부 ASR 모델 없이도 화자 표현을 음성 내용으로부터 효과적으로 분리할 수 있는가?
• RQ2 화자 신원만 제공될 때 자기지도 학습을 어떻게 활용하여 내용 분리를 유도할 수 있는가?
• RQ3 강화된 전이 모델을 갖춘 세 단계 가우시안 추론 아키텍처가 기존 방법에 비해 화자 인식 성능을 향상시키는가?
• RQ4 제안된 자기지도 손실 $\mathcal{L}_{\rm ssp}$ 는 분리 성능과 후속 인식 정확도를 어느 정도 향상시키는가?
• RQ5 추가 모델이나 데이터 요구 없이 실생활 구현에 적합한 가벼운 프레임워크를 만들 수 있는가?

주요 결과

• 제안된 RecXi 프레임워크는 기준 방법 대비 VoxCeleb 데이터셋에서 평균 EER 9.56% 감소를 달성한다.
• SITW 데이터셋에서는 평균 minDCF 8.24% 감소를 기록하여 일관된 성능 향상을 입증한다.
• 자기지도 손실 $\mathcal{L}_{\rm ssp}$ 는 모든 RecXi 시스템에서 평균 EER/ minDCF 5.07%/5.44% 감소를 이끌어내어 그 효과를 입증한다.
• $\tilde{\phi}$ 와 $\tilde{\phi}_{\rm lin}$ 특징을 모두 사용하는 시스템은 $\tilde{\phi}$ 를 단독으로 사용하는 경우보다 성능이 뛰어나며, 특히 자기지도 학습이 적용된 경우 더욱 두드러진다.
• 자기지도 손실 $\mathcal{L}_{\rm ssp}$ 가 적용된 경우, 다양한 특징 구성 간 성능 격차가 해소되어 분리 성능의 안정성과 향상에 기여함을 시사한다.
• 제거 실험 결과, 제안된 $\mathbf{G}_{t}$ 전이 레이어가 음성의 동적 성분을 모델링하는 데 효과적이고 필수적임을 확인한다.