[논문 리뷰] SASV Challenge 2022: A Spoofing Aware Speaker Verification Challenge Evaluation Plan

Jee-weon Jung, Hemlata Tak외 8명|arXiv (Cornell University)|2022. 01. 25.

Speech Recognition and Synthesis인용 수 16

한 줄 요약

이 논문은 통합된 시스템이 동시에 반도청 조치(CMs)와 자동 화자 확인(ASV)을 최적화하는 것을 평가하는 2022년 SASV 챌린지를 소개한다. 앙상블 및 엔드 투 엔드 모델을 사용하는 통합 프레임워크를 제안하여 위조 및 위조자 음성의 동시 탐지를 수행하였으며, 개발 세트에서 SASV-EER 1.2%를 달성하였다. 이는 백엔드 모델 앙상블 전략을 통해 달성되었다.

ABSTRACT

ASV (automatic speaker verification) systems are intrinsically required to reject both non-target (e.g., voice uttered by different speaker) and spoofed (e.g., synthesised or converted) inputs. However, there is little consideration for how ASV systems themselves should be adapted when they are expected to encounter spoofing attacks, nor when they operate in tandem with CMs (spoofing countermeasures), much less how both systems should be jointly optimised. The goal of the first SASV (spoofing-aware speaker verification) challenge, a special sesscion in ISCA INTERSPEECH 2022, is to promote development of integrated systems that can perform ASV and CM simultaneously.

연구 동기 및 목표

• ASV와 CM 연구 공동체 간 격차를 해소하기 위해, 단일 챌린지 프레임워크 내에서 두 분야의 목표를 통합한다.
• 제로 에포트 위조자 및 위조 공격(예: TTS, VC, 리플레이)에 대한 화자 확인 시스템의 강건성을 향상시킨다.
• 화자 및 반도청 임베딩을 조합한 앙상블 모델 개발을 장려하며, 다중 작업 학습을 활용한 단일 통합 모델 개발을 유도한다.
• 세 가지 EER 지표인 SASV-EER, SV-EER, SPF-EER를 사용한 표준화된 평가 프rotocol을 구축하여 시스템 신뢰성을 종합적으로 평가한다.

제안 방법

• 두 가지 처리 파이프라인 제안: (1) 별도의 사전 훈련된 ASV 및 CM 서브시스템을 사용하는 앙상블 솔루션, (2) 다중 작업 목표로 엔드 투 엔드로 훈련된 통합 단일 시스템.
• ASV의 코사인 유사도 점수와 CM 시스템의 DNN 소프트맥스 점수를 조합하는 점수 합 앙상블 사용.
• 백엔드 모델 앙상블(Baseline2)을 구현하여 세 입력을 사용: 등록 음성에서의 ASV 임베딩, 테스트 음성에서의 ASV 임베딩, 테스트 음성에서의 CM 임베딩, 3층의 MLP를 활용.
• ASVspoof 2019 LA 훈련 파artition에서 모델을 훈련하고, 개발 및 평가 프로토콜에서 평가.
• 딥 네ural 네트워크에서 이중 출력 헤드를 사용한 다중 작업 학습을 적용: 하나는 화자 식별, 다른 하나는 위조 탐지.
• SASV-EER, SV-EER, SPF-EER 지표를 계산하기 위해 목표, 비목표, 위조된 시험을 포함한 통합 프로토콜 사용.

실험 결과

연구 질문

• RQ1 ASV 및 CM 서브시스템을 공동 최적화함으로써, 별도의 CM 개발에 비해 시스템의 강건성이 크게 향상되는가?
• RQ2 화자 및 반도청 임베딩을 조합한 앙상블 모델의 성능이 단일 통합 모델보다 어떻게 비교되는가?
• RQ3 백엔드 모델에서의 점수 융합은 별도의 ASV 및 CM 시스템에서 비교정화된 점수로 인한 EER 악화를 어느 정도 감소시키는가?
• RQ4 각 시험에서 다수의 등록 음성 사용이 시스템 성능 및 캘리브레이션에 어떤 영향을 미치는가?
• RQ5 통합 시스템에서 개발 및 평가 세트 간에 세 가지 EER 지표(SASV-EER, SV-EER, SPF-EER) 간 상관관계는 어떠한가?

주요 결과

• 백엔드 모델 앙상블(Baseline2)은 개발 세트에서 SASV-EER 1.2%를 달성하여 점수 합 앙상블 방법을 능가했다.
• 점수 합 앙상블 방법은 ASV 및 CM 시스템에서 비교정화된 점수로 인해 EER 악화를 보였으며, 이는 융합 전략의 필요성을 강조한다.
• 이번에 처음으로 챌린지 맥락에서 사용된 평가 프로토콜은 통합된 ASV-CM 시스템 간 일관된 비교를 가능하게 하였다.
• 각 시험에서 다수의 등록 음성 사용은 임베딩 안정성과 시스템 캘리브레이션을 향상시켰으며, 특히 앙상블 설정에서 두드러졌다.
• SASV-EER 지표는 병합된 위조자 및 위조 공격 위협 하에서의 시스템 신뢰성을 효과적으로 캡처하여 통합된 성능 측정 기준을 제공한다.
• 챌린지 프레임워크는 참가자들이 통합 시스템을 훈련하고 평가할 수 있도록 성공적으로 지원하였으며, 결과는 챌린지 후 공개되었다.