[논문 리뷰] The IDLAB VoxCeleb Speaker Recognition Challenge 2020 System Description

Jenthe Thienpondt, Brecht Desplanques외 1명|arXiv (Cornell University)|2020. 10. 23.

Speech Recognition and Synthesis참고 문헌 28인용 수 15

한 줄 요약

이 논문은 2020년 VoxCeleb 스피커 인식 챌린지에서 최고 성능을 기록한 시스템을 제시하며, 감독 학습을 위한 대용량 마진 미세조정과 품질 인식 점수 校정을, 비감독 학습을 위한 대비 학습과 반복 클러스터링을 조합한다. 최종 융합 결과는 VoxCeleb1에서 2.1% EER, VoxSRC-20에서 7.2% EER를 기록하여 감독 학습 방법에 가까운 최신 기술 수준의 성능을 입증한다.

ABSTRACT

In this technical report we describe the IDLAB top-scoring submissions for the VoxCeleb Speaker Recognition Challenge 2020 (VoxSRC-20) in the supervised and unsupervised speaker verification tracks. For the supervised verification tracks we trained 6 state-of-the-art ECAPA-TDNN systems and 4 Resnet34 based systems with architectural variations. On all models we apply a large margin fine-tuning strategy, which enables the training procedure to use higher margin penalties by using longer training utterances. In addition, we use quality-aware score calibration which introduces quality metrics in the calibration system to generate more consistent scores across varying levels of utterance conditions. A fusion of all systems with both enhancements applied led to the first place on the open and closed supervised verification tracks. The unsupervised system is trained through contrastive learning. Subsequent pseudo-label generation by iterative clustering of the training embeddings allows the use of supervised techniques. This procedure led to the winning submission on the unsupervised track, and its performance is closing in on supervised training.

연구 동기 및 목표

• VoxCeleb 스피커 인식 챌린지 2020에서 감독 및 비감독 스피커 인식 성능을 최고 수준으로 달성하기 위해.
• 구조적 개선 및 훈련 전략을 통해 스피커 인식 모델의 강건성과 일반화 능력을 향상시키기 위해.
• 자기지도 대비 학습과 가짜 레이블링을 통해 감독 및 비감독 스피커 인식 간 성능 격차를 해소하기 위해.
• 다양한 발화 지속 시간에 걸쳐 일관된 결정 임계값을 유지할 수 있는 품질 인식 校정 방법을 개발하기 위해.
• 반복 클러스터링을 통한 비감독 훈련이 감독 학습 수준의 성능에 도달할 수 있음을 보여주기 위해.

제안 방법

• 동적 확장, 서브센터 AAM-소프트맥스, Bi-LSTM 계층을 포함한 아키텍처 변형을 적용한 6개의 ECAPA-TDNN 및 4개의 ResNet34 기반 모델을 훈련하였다.
• 확대된 마진(0.5), 더 긴 6초 크롭, HPM 샘플링을 적용한 대용량 마진 미세조정을 통해 결정 경계의 분리도를 향상시켰다.
• 대칭적 품질 측정 함수를 사용한 30,000개의 시험(짧은-짧음, 짧은-긴, 긴-긴)에 대한 로지스틱 회귀를 활용한 품질 인식 점수 校정을 구현하였다.
• 온라인 데이터 증강 및 겹침 최소화를 통한 대비 학습을 통해 자기지도 임베딩 추출기를 훈련시켰다.
• 미니배치 k-means 및 AHC를 통한 반복 클러스터링을 수행하여 후속 감독 학습을 위한 고품질 가짜 레이블을 생성하였다.
• 가짜 레이블 데이터에 대해 2048채널 및 2서브센터 AAM을 적용한 대규모 ECAPA-TDNN을 미세조정한 후, 대용량 마진 미세조정 및 반복 클러스터링 모델과의 점수 평균화를 수행하였다.

실험 결과

연구 질문

• RQ1 초기 훈련 이후 적용된 대용량 마진 미세조정이 감독 스피커 인식 성능을 크게 향상시킬 수 있는가?
• RQ2 품질 인식 점수 校정이 다양한 발화 지속 시간 유형 간 일관된 EER 유지에 얼마나 효과적인가?
• RQ3 반복 클러스터링을 통한 대비 학습이 얼마나 높은 품질의 가짜 레이블을 생성하여 비감독 모델이 감독 학습 성능에 도달할 수 있는가?
• RQ4 VoxSRC-20에서 스피커 인식 정확도를 최대화하기 위해 반복 클러스터링의 최적의 클러스터 수는 얼마인가?
• RQ5 다양한 아키텍처 및 훈련 전략을 사용해 훈련된 다수의 모델 융합이 스피커 인식에서 우수한 일반화 능력을 이끌 수 있는가?

주요 결과

• 감독 학습 시스템은 원본 VoxCeleb1 테스트 세트에서 2.1% EER을 기록하여 오픈 및 클로즈드 트랙 모두에서 1위를 차지하였다.
• 비감독 학습 시스템은 대규모 ECAPA-TDNN을 미세조정한 후 점수 평균화를 통해 VoxSRC-20 테스트 세트에서 7.2% EER을 달성하여 감독 기반 기준에 근접한 뛰어난 성능을 보였다.
• 7.5K 클러스터를 사용한 반복 클러스터링이 최고의 성능을 보였으며, VoxSRC-20 검증 세트에서 EER을 6.5%로 낮추어 초기 대비 학습 모델 대비 64%의 상대적 향상을 이룩하였다.
• 대비 학습 베이스라인은 VoxCeleb1에서 7.3% EER, VoxSRC-20 검증 세트에서 18.0% EER을 기록하여 강력한 자기지도 표현 학습 능력을 보였다.
• 6초 크롭과 증가된 마진(0.5)을 적용한 대용량 마진 미세조정은 특히 품질 인식 校정과 조합되었을 때 일반화 능력을 크게 향상시켰다.
• 품질 인식 校정은 다양한 발화 지속 시간에 걸친 EER 변동을 감소시켜 결정 임계값의 강건성을 향상시켰다.