[논문 리뷰] Investigating self-supervised front ends for speech spoofing countermeasures

Xin Wang, Junichi Yamagishi|arXiv (Cornell University)|2021. 11. 15.

Speech Recognition and Synthesis인용 수 12

한 줄 요약

이 논문은 자기지도 학습 음성 모델을 음성 위조 탐지 기준(이하 CM)의 프론트엔드로 사용하는 것을 조사하며, 간단한 백엔드를 사용해 미리 훈련된 HuBERT 또는 Wav2vec 2.0 모델을 미세조정함으로써 여러 ASVspoof 벤치마크에서 최신 기준 수준의 일반화 성능을 달성함을 보여준다. 이 CM은 기존의 LFCC 기반 베이스라인보다 더 뛰어난 성능을 보이며, 특히 미리 보지 못한 위조 공격에 대해 뛰어나게 된다. 이는 저주파수 언어적 특징(0.1–2.4 kHz)에 의존하기 때문이다. 이러한 특징은 기존 방법에서 사용하는 고주파수 신호보다 더 견고하고 일반화 능력이 뛰어나다.

ABSTRACT

Self-supervised speech model is a rapid progressing research topic, and many pre-trained models have been released and used in various down stream tasks. For speech anti-spoofing, most countermeasures (CMs) use signal processing algorithms to extract acoustic features for classification. In this study, we use pre-trained self-supervised speech models as the front end of spoofing CMs. We investigated different back end architectures to be combined with the self-supervised front end, the effectiveness of fine-tuning the front end, and the performance of using different pre-trained self-supervised models. Our findings showed that, when a good pre-trained front end was fine-tuned with either a shallow or a deep neural network-based back end on the ASVspoof 2019 logical access (LA) training set, the resulting CM not only achieved a low EER score on the 2019 LA test set but also significantly outperformed the baseline on the ASVspoof 2015, 2021 LA, and 2021 deepfake test sets. A sub-band analysis further demonstrated that the CM mainly used the information in a specific frequency band to discriminate the bona fide and spoofed trials across the test sets.

연구 동기 및 목표

• 미리 훈련된 자기지도 학습 음성 모델이 위조 학습 데이터가 없이도 위조 탐지 기준의 강력한 프론트엔드로 기능할 수 있는지 평가하는 것.
• 자기지도 프론트엔드를 사용할 때 백엔드 아키텍처 선택이 성능에 미치는 영향을 조사하는 것.
• 자기지도 프론트엔드를 미세조정함으로써 다양한 위조 공격 유형과 테스트 세트에서의 일반화 능력 향상 여부를 확인하는 것.
• 자기지도 학습 기반 CM에서 위조 음성과 본래 음성을 구분하는 데 기여하는 주파수 대역을 특정하는 것.

제안 방법

• 자기지도 학습 모델(HuBERT 및 Wav2vec 2.0)을 원시 음성 웨이브폼에서 시퀀스 수준의 표현을 추출하기 위한 프론트엔드로 사용한다.
• 프론트엔드 출력은 얕은(LLLGF) 및 깊은(LGF, GF) 신경망 아키텍처를 포함한 다양한 백엔드 아키텍처에서 처리되며, 전역 평균 풀링과 완전 연결층을 포함한다.
• 프론트엔드는 고정하거나 ASVspoof 2019 LA 훈련 세트에서 교차 엔트로피 손실을 사용해 위조 분류를 위한 엔드 투 엔드로 미세조정된다.
• 특정 주파수 대역이 위조 탐지 성능에 기여하는 바를 분석하기 위해 밴드스톱 필터를 적용하여 서브밴드 분석을 수행한다.
• 성능 평가에는 여러 테스트 세트(ASVspoof 2015, 2019 LA, 2021 DF)에서 등가 오류율(EER)을 사용한다.
• 자기지도 학습 기반 CM과 LFCC 특징을 사용하는 베이스라인 및 표준 GF 백엔드를 비교하는 실험을 수행한다.

실험 결과

연구 질문

• RQ1 자기지도 프론트엔드와 조합했을 때 위조 탐지 기준에서 가장 효과적인 백엔드 아키텍처는 무엇인가?
• RQ2 미리 훈련된 자기지도 프론트엔드를 미세조정하면 다양한 위조 공격 유형과 테스트 세트에서 일반화 능력이 향상되는가?
• RQ3 자기지도 프론트엔드로 사용할 때 가장 우수한 성능를 보이는 사전 훈련된 자기지도 학습 모델은 무엇인가?(예: Wav2vec 2.0 또는 HuBERT)
• RQ4 자기지도 학습 기반 CM에서 본래 음성과 위조 음성을 구분하는 데 가장 유용한 주파수 대역은 무엇인가?
• RQ5 자기지도 학습 기반 CM의 성능는 여러 벤치마크 데이터셋에서 기존의 LFCC 기반 베이스라인과 비교해 어떻게 되는가?

주요 결과

• 간단한 백엔드(평균 풀링 + 선형층)를 사용해 자기지도 프론트엔드를 미세조정한 결과, ASVspoof 2019 LA 테스트 세트에서 EER이 4.8%로 나타나 강력한 베이스라인과 동등한 성능을 달성했다.
• 미세조정된 CM은 ASVspoof 2015, 2021 LA, 2021 DF 테스트 세트에서 모두 베이스라인을 뛰어넘었으며, 일부 데이터셋에서는 EER이 최대 50% 감소했다.
• 자기지도 프론트엔드를 사용한 CM은 0.1–2.4 kHz 주파수 대역에서의 밴드스톱 필터링에 가장 민감하게 반응하여, 저주파수 언어적 특징에 의존하고 있음을 시사한다.
• LFCC 특징을 사용하는 베이스라인 CM은 고주파수 밴드스톱 필터링(예: 5.6–7.2 kHz)에 매우 민감하게 반응하여, 이러한 조건에서 EER이 46%로 상승했다.
• 자기지도 학습 기반 CM은 다양한 테스트 세트에서 일관된 성능를 보이며, 수동으로 설계된 DSP 특징보다 학습된 특징이 더 일반화 능력이 뛰어나다는 것을 시사한다.
• 서브밴드 분석 결과, 자기지도 학습 기반 CM은 주로 0.1–2.4 kHz 대역에서 정보를 활용하며, 이는 일반화 가능한 언어적 단서를 담고 있다. 반면, 베이스라인은 고주파수 채널 특화 아티팩트에 의존한다.