[논문 리뷰] The PartialSpoof Database and Countermeasures for the Detection of Short Fake Speech Segments Embedded in an Utterance

Lin Zhang, Xin Wang외 3명|arXiv (Cornell University)|2022. 04. 11.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

이 논문은 새로운 스폰지 시나리오인 '부분 스폰지'(Partial Spoof, PS)를 다루기 위해 'PartialSpoof 데이터베이스'와 새로운 대응 조치(CM)를 소개한다. 이 CM은 짧고 임bed된 가짜 음성 세그먼트를 진짜 발화에 탐지하는 데 목적이 있으며, 자기지도 학습(SSL) 모델을 강화된 특징 추출기로 활용하고, 세그먼트 수준 및 발화 수준의 레이블을 함께 사용하여 다양한 시간 해상도(20–640 ms)에서 동시 학습함으로써, 발화 수준에서 최신 기술 수준의 등오차율(EER) 0.77% (PS) 및 0.90% (LA)를 달성한다.

ABSTRACT

Automatic speaker verification is susceptible to various manipulations and spoofing, such as text-to-speech synthesis, voice conversion, replay, tampering, adversarial attacks, and so on. We consider a new spoofing scenario called "Partial Spoof" (PS) in which synthesized or transformed speech segments are embedded into a bona fide utterance. While existing countermeasures (CMs) can detect fully spoofed utterances, there is a need for their adaptation or extension to the PS scenario. We propose various improvements to construct a significantly more accurate CM that can detect and locate short-generated spoofed speech segments at finer temporal resolutions. First, we introduce newly developed self-supervised pre-trained models as enhanced feature extractors. Second, we extend our PartialSpoof database by adding segment labels for various temporal resolutions. Since the short spoofed speech segments to be embedded by attackers are of variable length, six different temporal resolutions are considered, ranging from as short as 20 ms to as large as 640 ms. Third, we propose a new CM that enables the simultaneous use of the segment-level labels at different temporal resolutions as well as utterance-level labels to execute utterance- and segment-level detection at the same time. We also show that the proposed CM is capable of detecting spoofing at the utterance level with low error rates in the PS scenario as well as in a related logical access (LA) scenario. The equal error rates of utterance-level detection on the PartialSpoof database and ASVspoof 2019 LA database were 0.77 and 0.90%, respectively.

연구 동기 및 목표

• 진짜 발화에 짧은 세그먼트만 합성되거나 변형된 '부분 스폰지'(Partial Spoof)라는 새로운 스폰지 위협을 해결하기 위해.
• 세그먼트 수준에서 높은 시간 해상도로 이러한 짧은 스폰지 세그먼트를 탐지하고 국소화할 수 있는 대응 조치를 개발하기 위해.
• 세그먼트 수준의 애너테이션을 포함한 6개의 시간 해상도(20–640 ms)에서 제공되는 새로운 데이터베이스인 PartialSpoof를 구축하여, 세세로 탐지 연구를 지원하기 위해.
• 강화된 SSL 기반 특징 추출기를 사용하여 발화 수준 및 다중 세그먼트 수준의 레이블을 함께 학습하여 성능 향상을 도모하기 위해.

제안 방법

• 다중 해상도 레이블을 사용하여 동시에 발화 수준 및 세그먼트 수준의 스폰지 탐지 기능을 수행하는 새로운 딥러닝 기반 대응 조치를 제안한다.
• 개선된 표현 학습을 위해 자기지도 학습 사전 훈련 모델(wav2vec 2.0, W2V2-Large, HuBERT, mBART 등)을 강화된 프론트엔드로 활용한다.
• 다중 해상도 학습 전략을 도입하여 동일한 모델을 20, 40, 80, 160, 320, 640 ms 등 다양한 세그먼트 수준의 레이블로 학습함으로써 세세로 국소화를 가능하게 한다.
• 다양한 해상도에서의 예측을 집계하고, 학습 중에 발화 수준 및 세그먼트 수준의 감독 신호를 모두 활용하는 신경망 아키텍처를 설계한다.
• 강건성과 일반화 능력을 향상시키기 위해 교차 엔트로피와 대비 학습 목적함수의 조합을 사용한다.
• 불균형한 스폰지 데이터를 처리하기 위해 데이터 증강 및 클래스 균형 기법을 적용한다.

실험 결과

연구 질문

• RQ1 다양한 시간 해상도에서 학습된 대응 조치가 기존 방법보다 짧은 스폰지 세그먼트를 더 정확하게 탐지할 수 있는가?
• RQ2 세그먼트 수준 및 발화 수준의 레이블 통합이 부분 스폰지 시나리오에서 탐지 성능을 어떻게 향상시키는가?
• RQ3 자기지도 학습 사전 훈련 모델을 사용할 경우, 자원이 제한되거나 세세로 설정에서 스폰지 탐지 성능이 얼마나 향상되는가?
• RQ4 특히 알려지지 않은 스폰지 시스템에 대해 모델의 일반화 능력은 어떠한가?
• RQ5 세그먼트 수준 탐지에서 개발 세트와 평가 세트 사이의 성능 격차는 어떤 요인에 기인하는가?

주요 결과

• 제안된 대응 조치는 PartialSpoof 평가 세트에서 등오차율(EER) 0.77%를 기록하여, PS 시나리오에서 발화 수준 탐지의 새로운 최신 기술 수준을 확립한다.
• ASVspoof 2019 LA 데이터베이스에서 EER 0.90%를 달성하여 강력한 일반화 능력을 입증하고, 이전 방법들을 초월하는 성능을 보였다.
• 세그먼트 수준 탐지에서 개발 세트와 평가 세트 사이의 성능 격차는 더 도전적인 스폰지 시스템(예: A15)과 평가 세그먼트에서의 연결 경계 수의 감소로 인해 주로 발생한다.
• 일부 알려지지 않은 스폰지 시스템(특히 A15)을 제거한 이탈리안 아블레이션 연구에서 EER가 크게 감소함을 확인하여, 이들가 높은 공격 강도를 지닌 것으로 나타났다.
• 다중 해상도 학습이 성능 향상에 기여하며, 목표 탐지 작업의 해상도에 맞는 세그먼트 수준 레이블을 사용할 경우 성능이 향상됨을 확인했다.
• 다양한 시나리오 간 학습 결과, PartialSpoof 데이터는 LA 시나리오에서도 성능 향상에 기여함을 보여주어, 새로운 데이터베이스의 상호 보완적 유용성을 시사한다.