[논문 리뷰] VoxSRC 2022: The Fourth VoxCeleb Speaker Recognition Challenge

Jaesung Huh, Andrew J. Brown외 5명|arXiv (Cornell University)|2023. 02. 20.

Speech Recognition and Synthesis인용 수 14

한 줄 요약

VoxSRC-22의 포괄적 요약으로, 네 가지 트랙(스피커 검증 닫힘/개방, 준지도 도메인 적응, 다이어리제이션)을 개요하고, 데이터셋, 평가 프로토콜, 최상위 방법 및 자체 지도 모델과 도메인 적응 전략에서의 강력한 이득을 포함한 결과를 제시합니다.

ABSTRACT

This paper summarises the findings from the VoxCeleb Speaker Recognition Challenge 2022 (VoxSRC-22), which was held in conjunction with INTERSPEECH 2022. The goal of this challenge was to evaluate how well state-of-the-art speaker recognition systems can diarise and recognise speakers from speech obtained "in the wild". The challenge consisted of: (i) the provision of publicly available speaker recognition and diarisation data from YouTube videos together with ground truth annotation and standardised evaluation software; and (ii) a public challenge and hybrid workshop held at INTERSPEECH 2022. We describe the four tracks of our challenge along with the baselines, methods, and results. We conclude with a discussion on the new domain-transfer focus of VoxSRC-22, and on the progression of the challenge from the previous three editions.

연구 동기 및 목표

• 최신 스피커 인식 시스템이 제약 없이 실제 환경에서 어떻게 작동하는지(‘in the wild’)를 조사한다.
• 공정하고 비교 가능한 벤치마킹을 위해 공개 데이터, 평가 도구, 공개 챌린지를 제공한다.
• 다양하고 다중 언어, 잡음 환경하에서 도메인 적응과 다이어리제이션을 탐구한다.
• 모델을 더 잘 스트레스 테스트하고 방법론적 진전을 촉진하기 위해 새로운 시험 유형(하드 포지티브/네거티브)을 도입한다.

제안 방법

• 네 가지 트랙은 각각의 목표를 가진 독립 트랙이다: 닫힘/개방 스피커 검증, 준지도 도메인 적응(새로운 트랙), 개방 다이어리제이션.
• 공개 데이터 및 표준화된 평가 도구를 통해 공정하고 비교 가능한 벤치마킹을 보장한다.
• 데이터 증강(MUSAN, RIR) 및 점수 후처리(AS-Norm, QMF)를 포함한 VoxCeleb 기반 아키텍처(ResNet 변형, ECAPA-TDNN)를 이용한 베이스라인 시스템.
• Track 2(검증)에서의 성능 향상을 위해 자기지도 사전학습 모델(WavLM, Wav2Vec2)을 활용한다.
• 소스 언어/도메인(영어, VoxCeleb)에서 타깃 언어/도메인(중국어, CN-Celeb)으로의 적응을 위해 의사라벨링과 자기지도 학습을 사용하는 준지도 도메인 적응 접근법.
• 임베딩 추출기, 다중 VAD 모델, 클러스터링 융합(DOVER-LAP)을 활용한 다이어리제이션 시스템을 제시한다.

실험 결과

연구 질문

• RQ1 제약 없이 현장 조건에서 최신 스피커 검증 및 다이어리제이션 시스템은 어떻게 작동하는가?
• RQ2 자체 지도 사전학습 및 교차 도메인/다중 언어 데이터가 검증 및 다이어리제이션 성능에 미치는 영향은 무엇인가?
• RQ3 한정된 표기 대상 도메인 데이터로 준지도 도메인 적응이 언어/도메인 격차를 효과적으로 메울 수 있는가?
• RQ4 하드 트라이얼 유형(연령 기반 긍정/동일 파일 네거티브)이 시스템 로버스트니스와 평가에 어떤 영향을 미치는가?
• RQ5 공정한 연도 간 비교를 위한 실용적이고 재현 가능한 벤치마크 및 평가 파이프라인은 무엇인가?

주요 결과

• 자체 지도 사전학습 모델(WavLM, Wav2Vec2)이 Track 2(검증) 성능에서 큰 상대 이득을 제공한다.
• 강력한 데이터 증강과 자체 지도 사전학습을 결합한 ResNet/ECAPA-TDNN 기반의 최상위 검증 팀이 베이스라인 대비 주목할 만한 minDCF 및 EER 개선을 달성했다.
• Track 3(준지도 도메인 적응)에서 대상 도메인 데이터와 소스 도메인 감독을 결합한 의사라벨링이 대상 데이터만 표기된 베이스라인에 비해 EER/minDCF를 크게 개선했다.
• Track 4(다이어리제이션)에서 임베딩 기반 클러스터링과 다중 VAD 융합으로 강력한 성능을 보였으며 테스트 세트에서 DER 약 4.75–4.87% 및 JER ~25–28%를 달성했다.
• 하드 트라이얼 형식(하드 긍정/하드 네가티브)의 도입은 과제를 크게 어렵게 만들었고, 최상위 시스템조차 하드 부분에서 더 많은 오차를 보이며 로버스트니스 격차를 강조했다.
• 전반적으로 VoxSRC-22는 트랙 간 상당한 연도 대비 이득을 보여주며, 도메인 적응과 자체 지도 학습이 주목할 만한 향상을 이끌고 있지만 제약되지 않은 데이터에서의 다이어리제이션의 성장하는 난제를 확인시켜 준다.