[논문 리뷰] ASVspoof 2021: Automatic Speaker Verification Spoofing and Countermeasures Challenge Evaluation Plan

Héctor Delgado, Nicholas Evans외 9명|arXiv (Cornell University)|2021. 09. 01.

Speech Recognition and Synthesis참고 문헌 6인용 수 130

한 줄 요약

이 논문은 세 가지 과제(LA, PA, 및 Speech Deepfake), 평가 메트릭(ASV-constrained t-DCF 및 EER), 데이터 분할, 베이스라인, 및 제출 규칙을 통해 스푸핑에 대한 강건한 대응책을 촉진하는 ASVspoof 2021 챌린지 계획을 개략적으로 제시한다.

ABSTRACT

The automatic speaker verification spoofing and countermeasures (ASVspoof) challenge series is a community-led initiative which aims to promote the consideration of spoofing and the development of countermeasures. ASVspoof 2021 is the 4th in a series of bi-annual, competitive challenges where the goal is to develop countermeasures capable of discriminating between bona fide and spoofed or deepfake speech. This document provides a technical description of the ASVspoof 2021 challenge, including details of training, development and evaluation data, metrics, baselines, evaluation rules, submission procedures and the schedule.

연구 동기 및 목표

• 채널 가변성 및 실세계 조건에 견고한 스푸핑 대응책을 촉진한다.
• 실제 물리적 공간에서 캡처되거나 압축된 데이터로 대책을 평가한다.
• 데이터 증강 효과를 평가하고 비-ASV 딥페이크 탐지로의 관련성을 확장한다.
• 정의된 프로토콜, 지표, 베이스라인으로 공통 평가 프레임워크를 제공한다.

제안 방법

• 세 가지 과제: Logical Access (LA), Physical Access (PA), 및 Speech Deepfake (DF)를 도입한다.
• LA 및 PA의 주요 지표로 ASV-constrained t-DCF를 사용하고, DF에는 EER를 사용한다.
• 레이블링된 학습/개발 데이터 및 베이스라인 코드를 제공하며, 평가 데이터는 라벨이 없다.
• 깊은 화자 임베딩과 PLDA 스코어링을 기반으로 한 공통 ASV 시스템.
• 베이스라인 대책으로 LFCC-GMM, CQCC-GMM, LFCC-LCNN, 및 RawNet2가 포함되며, 소스 코드는 공개 저장소에서 사용할 수 있다.

실험 결과

연구 질문

• RQ1 LA PA 시나리오에서 코덱 및 전송 가변성에 대해 대응책이 어떻게 일반화될 수 있는가?
• RQ2 ASVspoof 2019 데이터로 훈련된 대응책이 더 현실적이고 실공간 녹음에 적응할 수 있는가?
• RQ3 데이터 증강 및 도메인 불일치가 스푸핑 탐지 성능에 미치는 영향은 무엇인가?
• RQ4 ASV 시스템 없이 DF에서 딥페이크 탐지 접근법은 얼마나 효과적인가?
• RQ5 대응책의 공정하고 확장 가능한 비교를 가능하게 하는 정의된 평가 프로토콜 및 지표는 무엇인가?

주요 결과

• 이 계획은 LA, PA, DF의 세 가지 과제를 도입하여 전통적인 ASV 제약을 넘어 스푸핑 탐지를 확장한다.
• 주요 지표는 LA 및 PA에 대한 ASV-constrained t-DCF이며 보조 지표로 EER을 사용하고, DF는 EER를 사용한다.
• CA 개발을 위한 ASVspoof 2019 데이터를 사용하고, 실제 조건을 반영한 새로운 평가 데이터를 사용한다.
• 재현 가능한 비교를 촉진하기 위해 베이스라인 대책과 오픈 소스 코드가 제공된다.
• 평가 규칙은 외부 데이터 사용을 제한하고 평가 단계에서 각 과제당 단일 제출을 의무화한다.