[논문 리뷰] VoxSRC 2021: The Third VoxCeleb Speaker Recognition Challenge

Andrew J. Brown, Jaesung Huh외 4명|arXiv (Cornell University)|2022. 01. 12.

Speech Recognition and Synthesis인용 수 34

한 줄 요약

이 논문은 VoxSRC 2021 챌린지와 그 트랙(검증 및 다이어리제이션), 데이터, 평가 지표, 베이스라인, 최상위 방법들, 다국어 초점, 그리고 결과를 설명한다.

ABSTRACT

The third instalment of the VoxCeleb Speaker Recognition Challenge was held in conjunction with Interspeech 2021. The aim of this challenge was to assess how well current speaker recognition technology is able to diarise and recognise speakers in unconstrained or `in the wild' data. The challenge consisted of: (i) the provision of publicly available speaker recognition and diarisation data from YouTube videos together with ground truth annotation and standardised evaluation software; and (ii) a virtual public challenge and workshop held at Interspeech 2021. This paper outlines the challenge, and describes the baselines, methods and results. We conclude with a discussion on the new multi-lingual focus of VoxSRC 2021, and on the progression of the challenge since the previous two editions.

연구 동기 및 목표

• 야생에서의 무제한, 다국어 조건하에서의 스피커 인식 촉진 및 평가.
• 공개적으로 배포된 데이터, 평가 도구, 공개 챌린지 프레임워크 제공.
• VoxSRC 2019 및 2020 대비 검증 및 다이어리제이션 과제에서의 진전 평가.
• 검증 성능에 대한 다국어 영향 및 언어 강건성 분석.
• 가능한 경우 오디오-비주얼 등 멀티모달 접근법 개방 촉진.

제안 방법

• 새로운 다국어 테스트 초점이 포함된 VoxCeleb 기반 데이터세트 공개( Tracks 1–3 ).
• 네 개의 트랙: Speaker Verification – Closed, Open, Self-supervised (Closed), 및 Speaker Diarisation – Open.
• 표준 평가 지표: 검증은 minDCF와 EER; 다이어리제이션은 DER와 JER.
• 공개 베이스라인: VoxSRC 2020 Clova 베이스라인 검증용; 대조 학습을 이용한 자기지도 베이스라인; 슬라이딩 윈도우와 클러스터링 파이프라인을 이용한 다이어리제이션 베이스라인.
• 최상위 방법은 강한 CNN 백본(RepVGG, ResNet), 고급 증강, AM-Softmax/AAM-softmax와 대형 마진 미세 조정으로 두 단계 학습을 수행했으며, 자기지도 트랙에서 멀티모달(audio-visual) 융합.
• 다국어 분석은 언어 쌍 검토 및 ROC 분석을 포함하여 같은 언어 대_cross-language 검증을 평가.

실험 결과

연구 질문

• RQ1 최첨단 화자 검증 및 다이어리제이션 시스템은 제약이 없는 다국어 조건에서 어떻게 수행되는가?
• RQ2 다국어 데이터가 일반 언어들에서의 검증 정확도에 미치는 영향은 무엇인가?
• RQ3 자기지도 및 멀티모달 접근이 VoxSRC 2021에서 감독(supervised) 베이스라인을 능가하는가?
• RQ4 도전적이고 다중 화자 구간에서 다이어리제이션을 위한 선도 방법과 데이터 융합 전략은 무엇인가?
• RQ5 유사한 테스트 프로토콜 하에서 VoxSRC 연도(2019–2021) 간 성능 evolution은 어떠한가?

주요 결과

• 최상위 검증 트랙(1 및 2)은 광범위한 증강과 두 단계 학습을 이용한 RepVGG/ResNet 백본의 팀이 우승했으며, minDCF 0.18 및 EER 2.84% (2위) 및 0.103 minDCF / 1.85% EER (1위)를 달성했다.
• 자기지도 트랙( Track 3 )은 오디오-비주얼 데이터를 활용하고 모달리티 간 융합으로 반복적 의사 레이블링을 통해 0.341 minDCF 및 5.59% EER를 달성했다.
• 다이어리제이션 트랙 4의 결과는 DER 5.07% (우승)와 경쟁적인 범위의 DERs를 보였고, 1위와 10위 사이 DER 차이가 1% 이내로 좁았다.
• 다국어 분석은 베이스라인 모델이 언어 의존적 성능 차이를 보였고, 우승 방법은 언어 간 개선을 보였으나 샘플 수가 적은 언어 간 여전히 차이가 남았다.
• 2021년의 다국어 테스트 세트는 일반적으로 이전 연도보다 더 큰 도전을 제시했으며, 2019 테스트 세트에서 평가했을 때 2019–2020 수상자들에 비해 상당한 성능 향상을 보여 방법론적 진전을 빠르게 이뤘다.