[논문 리뷰] Large-scale learning of generalised representations for speaker recognition

Jee-weon Jung, Hee-Soo Heo외 6명|arXiv (Cornell University)|2022. 10. 20.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

이 논문은 다양한 대규모 데이터셋과 고급 아키텍처를 사용하여 처음부터 훈련한 대규모 일반 목적의 화자 인식 모델을 제안한다. 87,000명 이상의 화자와 10,220시간의 음성 데이터를 사용한 MFA-Conformer를 활용하여, 네 가지 평가 프로토콜 전반에서 평균 20% 이상의 향상된 성능를 달성하였으며, ECAPA-TDNN과 같은 CNN 기반 기준 모델에 비해 뛰어난 일반화 성능을 입증하였다.

ABSTRACT

The objective of this work is to develop a speaker recognition model to be used in diverse scenarios. We hypothesise that two components should be adequately configured to build such a model. First, adequate architecture would be required. We explore several recent state-of-the-art models, including ECAPA-TDNN and MFA-Conformer, as well as other baselines. Second, a massive amount of data would be required. We investigate several new training data configurations combining a few existing datasets. The most extensive configuration includes over 87k speakers' 10.22k hours of speech. Four evaluation protocols are adopted to measure how the trained model performs in diverse scenarios. Through experiments, we find that MFA-Conformer with the least inductive bias generalises the best. We also show that training with proposed large data configurations gives better performance. A boost in generalisation is observed, where the average performance on four evaluation protocols improves by more than 20%. In addition, we also demonstrate that these models' performances can improve even further when increasing capacity.

연구 동기 및 목표

• 전화 통화, 다이어라이제이션, 오픈셋 식별과 같은 다양한 실제 시나리오에 적용 가능한 단일 일반 목적의 화자 인식 모델을 개발한다.
• 자기주도 학습(Self-Supervised Learning)에 대한 사전 훈련 없이 대규모 화자 임베딩 모델을 처음부터 훈련하는 것이 최첨단의 일반화 성능을 달성할 수 있는지 조사한다.
• 모델 아키텍처(예: CNN 대비 Transformer 기반)와 훈련 데이터 규모가 여러 평가 프로토콜에 걸쳐 일반화에 미치는 영향을 평가한다.
• 대규모 데이터와 함께 모델 용량(깊이, 너비, 임베딩 차원)을 증가시키는 것이 성능 향상에 더해보조적인 영향을 미치는지 확인한다.
• 여러 데이터셋을 통합한 훈련 및 평가 프레임워크를 사용하여 일반화 가능한 화자 표현 학습의 벤치마크를 설정한다.

제안 방법

• VoxCeleb1/2, NIST SRE, CommonVoice, MLS 등 여러 공개 데이터셋을 조합하여 총 87,000명 이상의 화자와 10,220시간 이상의 음성 데이터를 사용해 화자 임베딩 모델을 처음부터 훈련한다.
• ECAPA-TDNN, Res2NetSE50, RawNet3, MFA-Conformer 등 네 가지의 서로 다른 모델 아키텍처를 평가하였으며, MFA-Conformer가 가장 뛰어난 성능를 보였다.
• MFA-Conformer 모델에서 인코더 출력을 연결한 후에 주의 집중 통계 풀링을 적용하여 발화 수준의 임베딩을 생성함으로써 표현 품질을 향상시켰다.
• 훈련 데이터 구성(v0에서 v4까지)을 체계적으로 변화시켜 데이터 규모와 도메인 다양성이 모델의 일반화에 미치는 영향을 평가하였다.
• 모델 깊이, 너비, 임베딩 차원을 늘려가며 아블레이션 스터디를 수행하여 용량 증가가 평가 프로토콜 전반에서 성능에 미치는 영향을 분석하였다.
• 세 가지 평가 프로토콜을 적용하여 교차 시나리오 일반화 성능을 측정하였다: Vox1-O(오픈셋 식별), DIHARD3(다이어라이제이션), VoxConverse(대화형 음성), NIST SRE 2010(전화 통화 음성).

실험 결과

연구 질문

• RQ1 대규모이고 다양한 데이터셋을 사용해 처음부터 훈련한 화자 인식 모델이, 사전 훈련된 SSL 모델이나 더 작은 규모의 훈련에 비해 다양한 실제 시나리오에서 더 나은 일반화 성능를 보일 수 있는가?
• RQ2 동일한 대규모 데이터로 훈련된 경우, 특히 CNN 기반(ECAPA-TDNN)과 자기주의 기반(MFA-Conformer) 아키텍처 간의 일반화 성능는 어떻게 다른가?
• RQ3 훈련 데이터의 양과 모델 용량(파rameter 수)을 증가시키는 것이 동시에 다양한 평가 프로토콜에서 성능 향상에 얼마나 기여하는가?
• RQ4 일관된 단일 모델이 태스크 특화 미세조정 없이도 전화 통화, 대화형 음성, 오픈셋 식별과 같은 상이한 도메인에서 뛰어난 성능를 달성할 수 있는가?
• RQ5 다양한 도메인(예: VoxCeleb, CommonVoice, NIST SRE)을 포함한 여러 데이터셋을 조합하면 단일 데이터셋 사용보다 더 나은 일반화 성능를 얻을 수 있는가?

주요 결과

• 자기주의 기반 아키텍처인 MFA-Conformer는 최소한의 인덕티브 바이어스를 지닌 바, 네 가지 평가 프로토콜 전반에서 CNN 중심의 ECAPA-TDNN에 비해 뚜렷한 일반화 성능 향상을 보였다.
• 가장 큰 데이터 구성(v4, 88,000명의 화자, 10.22천 시간)을 사용해 훈련한 결과, 기준 v0 구성 대비 모든 평가 프로토콜에서 평균 성능 향상이 20% 이상 발생하였다.
• 모델 용량 증가—특히 네트워크의 너비 증가와 임베딩 차원 증가—는 성능 향상에 추가로 기여하였으며, v4 구성에서 너비와 임베딩 확장을 동시에 적용한 결과 최고 성능(평균 EER 3.82%)을 기록하였다.
• 모델은 Vox1-O에서 0.68% EER, DIHARD3에서 2.45% EER, VoxConverse에서 3.85% EER, NIST SRE 2010에서 8.33% EER을 기록하여 강력한 도메인 간 내성성(로버스트니)을 입증하였다.
• 데이터와 모델 크기를 확장할수록 모든 프로토콜에서 성능 향상이 일관되게 발생하였으며, 용량 증가 시 DIHARD3에서 단지 0.03%의 절대 감소만을 보이며 어떤 한 작업에도 부정적인 영향을 거의 미치지 않았다.
• 다양한 데이터셋(예: CommonVoice, MLS 포함)의 조합은 일반화 성능 향상에 기여하였지만, 단순히 더 많은 CommonVoice 데이터를 추가하는 것(v2)은 일관된 성능 향상을 이끌지 못했으며, 이는 데이터 품질과 도메인 균형의 중요성을 강조한다.