[논문 리뷰] Clova Baseline System for the VoxCeleb Speaker Recognition Challenge 2020

Hee Soo Heo, Bong‐Jin Lee외 2명|arXiv (Cornell University)|2020. 09. 29.

Speech Recognition and Synthesis참고 문헌 18인용 수 96

한 줄 요약

이 논문은 VoxSRC 2020용 Clova의 ResNet 기반 기본 모델을 제시하며, 앙상블이나 후처리 없이 화자 인식을 개선하기 위해 다양한 손실 함수와 풀링 메커니즘을 탐구합니다. 단일 모델의 강력한 성능을 보고하고 훈련 코드와 모델을 unofficial baselines로 공개합니다.

ABSTRACT

This report describes our submission to the VoxCeleb Speaker Recognition Challenge (VoxSRC) at Interspeech 2020. We perform a careful analysis of speaker recognition models based on the popular ResNet architecture, and train a number of variants using a range of loss functions. Our results show significant improvements over most existing works without the use of model ensemble or post-processing. We release the training code and pre-trained models as unofficial baselines for this year's challenge.

연구 동기 및 목표

• 도메인 이동(도메인 시프트)과 짧은 발화가 있는 VoxSRC 2020 조건에서 VoxCeleb 데이터에 대한 효과적인 ResNet 기반 아키텍처를 평가한다.
• 다양한 손실 함수(AM-Softmax, AAM-Softmax, AP, AP+Softmax)와 풀링(SAP, ASP)이 성능에 미치는 영향을 조사한다.
• 제약되지 않은 음성에서 강인성을 높이기 위한 입력 표현과 증강 전략을 평가한다.
• 커뮤니티를 위한 훈련 코드와 사전 학습 모델을 공개하여 비공식 baseline을 제공한다.

제안 방법

• 고정 길이 2초 세그먼트를 사용하고 입력 특징으로 64-dim 로그 멜 필터뱅크와 인스턴스 노멀라이제이션을 통한 MVN을 사용한다.
• 두 가지 ResNet-34 변형을 비교한다: SAP를 사용하고 매개변수 수가 1.4M인 속도 최적 모델과 ASP를 사용하는 8.0M 매개변수의 성능 최적 모델.
• 메트릭 학습 및 분류 기반 손실(AM-Softmax, AAM-Softmax, AP, AP+Softmax)을 적용하여 구별 가능한 화자 임베딩을 학습한다.
• 어텐션 기반 풀링(SAP/ASP)을 사용하여 프레임 수준 특징을 집계하고 화자 구문 표현을 얻는다.
• VoxCeleb2 개발 세트에서 학습하고 테스트 세그먼트당 10개 크롭 간의 코사인 유사도로 평가하며, 100개의 쌍 유사도를 평균 낸다.
• MUSAN 노이즈/음악/기타 소음 및 시뮬레이션된 룸 임펄스 응답(RIR)을 포함한 데이터 증강을 적용한다.
• NSML 플랫폼에서 PyTorch로 구현하고 다중 GPU를 이용한 분산 학습을 수행하며, 모델 앙상블 없이 결과를 보고한다.

실험 결과

연구 질문

• RQ1 앵상 기반 풀링이 있는 ResNet 기반 백본이 모델 앙상블 없이 이전 VoxSRC 기본선과 일치하거나 능가할 수 있는가?
• RQ2 제약되지 않은 조건에서 화자 검증을 위해 AM-Softmax, AAM-Softmax, AP 및 AP+Softmax 손실은 어떻게 비교되는가?
• RQ3 VoxCeleb 데이터에서 발화 수준 구별에 대해 SAP와 ASP의 사용 영향은 무엇인가?
• RQ4 임베딩에 배치 정규화(BN)를 적용하는 것이 분류 목적에서 성능을 향상시키는가?

주요 결과

• 속도 최적화 Q/SAP 모델과 성능 최적화 H/ASP 모델이 다수의 손실 함수를 대상으로 개발되어 비교되었다.
• 메트릭 학습과 분류 기반 손실의 조합이 일반적으로 모든 시나리오에서 최고의 성능을 낸다.
• 임베딩 BN은 분류 기반 목표에 대해 상당한 이점을 제공한다.
• 최고의 단일 모델(AP+Softmax와 H/ASP)은 경쟁력 있는 성능을 달성했고, VoxSRC 2020 테스트 세트의 최상 성능은 EER 5.19% 및 MinDCF 0.314로 보고되었다.
• 저자들은 모델 앙상블이나 후처리에 의존하지 않고도 강력한 결과를 보여주었으며 커뮤니티를 위해 훈련 코드와 사전 학습 기본선을 공개했다.