[논문 리뷰] SASV 2022: The First Spoofing-Aware Speaker Verification Challenge

Jee-weon Jung, Hemlata Tak외 7명|arXiv (Cornell University)|2022. 03. 28.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

이 논문은 첫 번째로 통합 최적화된 위조 탐지 가능 음성 인식 시스템을 촉진하는 SASV 2022 챌린지를 소개한다. 이는 위조 탐지 기능과 음성 인식 기능을 하나의 통합 프레임워크로 통합한 것이다. 최고 성능을 낸 시스템은 등가 오류률(EER)을 0.13%로 낮추어 기존 음성 인식 시스템의 EER 23.83%보다 99% 이상 감소시켰으며, 별도로 최적화된 시스템보다 통합 솔루션의 효과성을 입증한다.

ABSTRACT

The first spoofing-aware speaker verification (SASV) challenge aims to integrate research efforts in speaker verification and anti-spoofing. We extend the speaker verification scenario by introducing spoofed trials to the usual set of target and impostor trials. In contrast to the established ASVspoof challenge where the focus is upon separate, independently optimised spoofing detection and speaker verification sub-systems, SASV targets the development of integrated and jointly optimised solutions. Pre-trained spoofing detection and speaker verification models are provided as open source and are used in two baseline SASV solutions. Both models and baselines are freely available to participants and can be used to develop back-end fusion approaches or end-to-end solutions. Using the provided common evaluation protocol, 23 teams submitted SASV solutions. When assessed with target, bona fide non-target and spoofed non-target trials, the top-performing system reduces the equal error rate of a conventional speaker verification system from 23.83% to 0.13%. SASV challenge results are a testament to the reliability of today's state-of-the-art approaches to spoofing detection and speaker verification.

연구 동기 및 목표

• 합성 또는 변조된 음성을 사용해 기존 시스템을 우회할 수 있는 위협 증가에 대비해 신뢰할 수 있는 음성 인식 시스템의 필요성을 해결한다.
• ASVspoof 챌린지의 한계를 극복한다. 이는 위조 탐지와 음성 인식을 별개로 간주하고 각각 별도로 최적화하는 방식을 취한다.
• 동시에 신원 확인과 음성의 진위성을 평가하는 통합적이고 공동 최적화된 솔루션의 개발을 촉진하여 보안성과 사용성 향상을 도모한다.
• ASVspoof 2019 LA 데이터베이스를 사용해 공통 평가 프로토콜과 벤치마크를 설정하여 팀 간 공정한 비교와 재현 가능성을 확보한다.
• 사전 학습된 ASV 및 위조 방지 조치(CM) 모델의 융합 또는 엔드 투 엔드 통합이 기존 시스템보다 현저히 낮은 오류율을 달성할 수 있음을 입증한다.

제안 방법

• 실제 위조 공격 조건에서의 시스템 신뢰성을 평가하기 위해 대상 시험, 정상이 아닌 비대상 시험, 위조된 비대상 시험을 포함하는 새로운 평가 프로토콜을 도입한다.
• ECAPA-TDNN 기반 음성 인식(ASV) 및 ASVspoof 2019 기반 위조 탐지(CM)의 오픈소스 사전 학습 모델을 제공하여 참가자가 최신 기술 기반 구성 요소를 기반으로 시스템을 구축할 수 있도록 한다.
• 두 가지 솔루션 전략을 지원한다: (1) 점수, 결정, 또는 임베딩 수준에서 별개의 ASV 및 CM 시스템을 후처리 융합하는 방식; (2) 음성 신원과 위조 유형을 동시에 분류하기 위한 단일 모델의 엔드 투 엔드 학습.
• 최소 탄성 감지 비용 함수(min t-DCF)를 주요 평가 지표로 사용하여, ASV 및 CM 시스템의 통합 성능을 통합 프레임워크 내에서 평가한다.
• 팀들이 여러 시스템을 융합할 수 있도록 지원하며, 일부 팀은 점수 정규화 및 품질 기반 특징을 사용해 신뢰성을 향상시켰다.
• ASVspoof 2019 로지컬 액세스(LA) 데이터베이스를 사용해 공통의 개발 및 평가 분할을 구현하여 모든 제출물 간 일관성과 재현 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 공동 최적화되거나 융합된 음성 인식 및 위조 방지 조치 시스템은 기존 별도로 최적화된 시스템보다 현저히 낮은 오류율을 달성할 수 있는가?
• RQ2 위조된 비대상 시험 비율이 다양할 경우 위조 탐지 기능을 갖춘 음성 인식 시스템의 성능은 어떻게 변할까? 시스템은 다양한 위조 우선 확률에 대해 강건한가?
• RQ3 사전 학습된 ASV 및 CM 모델의 점수 수준, 결정 수준, 또는 임베딩 수준 융합은 전체 시스템 신뢰성 향상에 어느 정도 기여하는가?
• RQ4 음성 신원과 위조 특징을 위한 공유된 잠재 공간을 학습하는 엔드 투 엔드 통합 모델은 모듈러 융합 접근 방식을 능가할 수 있는가?
• RQ5 점수 정규화에 메타 특징(예: 음성 지속 시간)을 사용할 경우 다양한 시험 조건에서 시스템의 강건성은 향상되는가?

주요 결과

• 최고 성능 시스템은 위조 탐지 기능을 갖춘 등가 오류률(SASV-EER)을 0.13%로 달성하여 기존 음성 인식 시스템의 EER 23.83%보다 99.45% 감소시켰다.
• 상위 3개 시스템 모두 별개의 ASV 및 CM 하위 시스템을 융합한 앙상블을 사용했으며, 최고 성능 시스템은 점수 수준 융합과 품질 기반 정규화를 적용했다.
• 최고 성능 시스템의 DET 곡선은 다른 모든 시스템보다 아래에 위치해, 다양한 운영 조건에서 부정 수용과 부정 기각 간의 균형이 뛰어나다는 것을 나타낸다.
• 이 시스템은 SV-EER와 SPF-EER 값이 유사하게 낮게 유지되어, 위조된 비대상 시험 비율의 변화에 민감하지 않음을 보여주며, 다양한 위조 우선 확률에 대해 강건함을 시사한다.
• 결과는 통합 솔루션이 조건부로 위조 시험에 노출되지 않은 기존 음성 인식 시스템보다 현저히 뛰어나다는 것을 입증한다.
• 강력한 성능에도 불구하고, 상위 시스템들은 모두 별개의 ASV 및 CM 구성 요소로 이루어진 앙상블이었으며, 진정으로 엔드 투 엔드로 통합된 모델은 향후 연구 과제로 남아 있다.