[논문 리뷰] Synthetic speech detection using meta-learning with prototypical loss

Monisankha Pal, Aditya Raikar외 2명|arXiv (Cornell University)|2022. 01. 24.

Speech Recognition and Synthesis인용 수 5

한 줄 요약

이 논문은 합성 음성 탐지에 대해 프로토타입 손실을 활용한 메타학습 접근법을 제안하며, 일반화 능력을 향상시키기 위해 SE-ResNet34 백본을 사용한다. 이 방법은 ASVspoof 2021 챌린지의 베이스라인 대비 min-tDCF에서 3.6% 상대적 향상을 달성했으며, 데이터 증강 없이도 강력한 성능을 보였다.

ABSTRACT

Recent works on speech spoofing countermeasures still lack generalization ability to unseen spoofing attacks. This is one of the key issues of ASVspoof challenges especially with the rapid development of diverse and high-quality spoofing algorithms. In this work, we address the generalizability of spoofing detection by proposing prototypical loss under the meta-learning paradigm to mimic the unseen test scenario during training. Prototypical loss with metric-learning objectives can learn the embedding space directly and emerges as a strong alternative to prevailing classification loss functions. We propose an anti-spoofing system based on squeeze-excitation Residual network (SE-ResNet) architecture with prototypical loss. We demonstrate that the proposed single system without any data augmentation can achieve competitive performance to the recent best anti-spoofing systems on ASVspoof 2019 logical access (LA) task. Furthermore, the proposed system with data augmentation outperforms the ASVspoof 2021 challenge best baseline both in the progress and evaluation phase of the LA task. On ASVspoof 2019 and 2021 evaluation set LA scenario, we attain a relative 68.4% and 3.6% improvement in min-tDCF compared to the challenge best baselines, respectively.

연구 동기 및 목표

• 예측할 수 없는 공격에 대한 합성 음성 위조 탐지 시스템의 일반화 부족 문제를 해결한다.
• VoIP 및 땅선 코덱과 같은 다양한 전송 조건 하에서 위조 방지 모델의 강건성을 향상시킨다.
• 메타학습 프레임워크에서 프로토타입 손실의 효과성을 위조 대응 조치에 대해 탐색한다.
• 특히 코덱 및 피치-리버브 증강과 같은 데이터 증강 전략이 모델의 일반화에 미치는 영향을 조사한다.
• 다양한 서브시스템을 융합하기 위한 점수 수준 융합 기법을 개발하여 성능을 향상시킨다.

제안 방법

• bonafide 및 위조 음성의 클래스 프로토타입을 학습하기 위해 프로토넷을 훈련하기 위해 메타학습 프레임워크 내에서 프로토타입 손실을 활용한다.
• 과적합 방지를 위해 주로 어텐션 기반 풀링보다 평균 풀링을 사용하는 SE-ResNet34-avg를 임bedding 추출기로 사용한다.
• ASVspoof 2019 데이터에서 alaw 및 G722를 사용하여 코덱 증강을 적용하여 ASVspoof 2021 채널 조건을 시뮬레이션한다.
• WavAugment를 통해 시간 도메인 증강을 구현하며, 랜덤 피치 시프팅 및 실내 리버브를 포함한다.
• BOSARIS 툴킷을 사용하여 점수 수준 융합을 구현하며, ASVspoof 2019 개발 세트에서 융합 가중치를 최적화한다.
• 최종 의사결정을 위해 테스트 임베딩과 클래스 프로토타입 간의 템플릿 매칭을 수행한다.

실험 결과

연구 질문

• RQ1 메타학습 프레임워크 내에서 프로토타입 손실이 예측할 수 없는 위조 공격에 대한 일반화 능력을 향상시키는가?
• RQ2 기존의 분류 손실(예: OC-Softmax)과 메트릭 학습 손실(예: 대비, 트리플릿)에 비해 제안된 프로토타입 손실은 위조 탐지에서 어떻게 비교되는가?
• RQ3 코덱 및 피치-리버브 데이터 증강이 ASVspoof 2021 LA 과제에서 모델의 강건성에 얼마나 기여하는가?
• RQ4 더 복잡한 모델(예: SE-ResNet34-atten)에 비해 단순한 모델(SE-ResNet34-avg)이 일반화 및 min-tDCF 측면에서 더 우수한 성능을 보이는가?
• RQ5 여러 서브시스템의 점수 수준 융합이 개별 모델보다 탐지 성능을 더욱 향상시킬 수 있는가?

주요 결과

• 제안된 시스템은 프로토타입 손실을 사용하여 평가 세트에서 ASVspoof 2019 챌린지 베이스라인 대비 min-tDCF에서 상대적으로 68.4% 향상된 성능을 달성했다.
• ASVspoof 2021 평가 세트에서 시스템은 챌린지의 최고 베이스라인(LFCC-LCNN) 대비 min-tDCF에서 3.6% 상대적 향상과 EER에서 2.5% 향상을 달성했다.
• SE-ResNet34-avg 모델이 SE-ResNet34-atten을 능가함으로써, 이 설정에서는 어텐션 기반 풀링이 과적합을 유도할 수 있음을 시사한다.
• 코덱 증강(alaw 및 G722)은 진행 단계에서 min-tDCF를 0.3329에서 0.3058로, 평가 단계에서 0.3545에서 0.3412로 감소시켰다.
• 피치-리버브 증강만으로도 성능 향상이 있었지만, 코덱 증강과 병합하면 성능이 악화되어 잠재적인 혼란 정보가 존재할 수 있음을 시사한다.
• 다양한 특징과 손실 함수를 사용한 네 개의 서브시스템 점수 수준 융합은 min-tDCF = 0.3320 및 EER = 9.03을 기록하여 최고의 제출 성능을 달성했으며, ASVspoof 2021 챌린지에서 총 18위를 기록했다.