[논문 리뷰] UR Channel-Robust Synthetic Speech Detection System for ASVspoof 2021

Xinhui Chen, You Zhang외 2명|arXiv (Cornell University)|2021. 07. 26.

Speech Recognition and Synthesis참고 문헌 32인용 수 4

한 줄 요약

이 논문은 ASVspoof 2021 챌린지에 대비하여 UR-AIR 시스템을 제안하며, 채널에 강건한 합성 음성 탐지 프레임워크를 제시한다. 코덱 및 인파르스 응답 증강을 통해 일반화 능력을 향상시킨다. ECAPA-TDNN을 사용하고 일종의 학습 및 모델 융합을 적용하여 LA 트랙에서 EER 5.46% 및 min-tDCF 0.3094를 달성하였고, DF 트랙에서는 EER 20.33%를 기록하였다.

ABSTRACT

In this paper, we present UR-AIR system submission to the logical access (LA) and the speech deepfake (DF) tracks of the ASVspoof 2021 Challenge. The LA and DF tasks focus on synthetic speech detection (SSD), i.e. detecting text-to-speech and voice conversion as spoofing attacks. Different from previous ASVspoof challenges, the LA task this year presents codec and transmission channel variability, while the new task DF presents general audio compression. Built upon our previous research work on improving the robustness of the SSD systems to channel effects, we propose a channel-robust synthetic speech detection system for the challenge. To mitigate the channel variability issue, we use an acoustic simulator to apply transmission codec, compression codec, and convolutional impulse responses to augmenting the original datasets. For the neural network backbone, we propose to use Emphasized Channel Attention, Propagation and Aggregation Time Delay Neural Networks (ECAPA-TDNN) as our primary model. We also incorporate one-class learning with channel-robust training strategies to further learn a channel-invariant speech representation. Our submission achieved EER 20.33% in the DF task; EER 5.46% and min-tDCF 0.3094 in the LA task.

연구 동기 및 목표

• 예상치 못한 도용 및 채널 조건에서 합성 음성 탐지(SSD) 시스템의 일반화 갭을 해소한다.
• 반사도 시스템에서 전송 및 음성 압축 변동성에 대한 강건성을 향상시킨다.
• 데이터 증강 및 학습 전략을 통해 채널에 영향을 받지 않는 음성 표현을 개발한다.
• ASVspoof 2021 챌린지의 LA 및 DF 트랙에서 최고 성능을 달성한다.
• ECAPA-TDNN의 반사도 작업에 대한 적합성과 모델 융합이 성능 향상에 미치는 영향을 조사한다.

제안 방법

• 전송 코덱(유선, 이동통신, VoIP), 압축 코덱(MP3, AAC), 장치 인파르스 응답(IR)을 포함한 음성 시뮬레이터를 적용하여 훈련 데이터를 증강한다.
• 다단계 데이터 증강 파이프라인을 사용: 먼저 코덱 열악화를 적용한 후, 필요에 따라 장치 IR과 병합하여 실제 채널 효과를 시뮬레이션한다.
• 주요 신경망 기반으로 ECAPA-TDNN를 사용하며, 다양한 채널 차원(C=512, 1024)과 아키텍처 수정을 적용한 변형을 활용한다.
• 채널에 강건한 훈련과 함께 일종의 학습을 통합하여 다양한 채널 조건에서 불변 표현을 학습한다.
• 여러 ECAPA-TDNN 변형을 융합하여 탐지 성능을 향상시키고, 앙상블 학습을 통해 더 나은 일반화를 이룬다.
• 최종 제출 전에 증강된 개발 세트에서 min-tDCF 및 EER 지표를 최적화한다.

실험 결과

연구 질문

• RQ1 코덱 및 인파르스 응답 기반 데이터 증강이 예상치 못한 채널 조건에서 SSD의 일반화 능력을 얼마나 효과적으로 향상시키는가?
• RQ2 ECAPA-TDNN는 반사도 작업에 효과적으로 적응될 수 있으며, 모델 크기가 증가함에 따라 아키텍처가 어떻게 확장되는가?
• RQ3 일종의 학습과 채널에 강건한 훈련을 융합했을 때, 채널 변동성에 대한 모델의 불변성은 어느 정도 향상되는가?
• RQ4 모델 융합은 DF 및 LA 트랙의 예상치 못한 도용 및 압축 조건에서 성능을 어떻게 향상시키는가?
• RQ5 과다 매개변수화가 반사도 작업에서 ECAPA-TDNN 성능에 미치는 영향은 무엇이며, 특히 과적합 측면에서 어떤가?

주요 결과

• UR-AIR 시스템은 LA 트랙에서 EER 5.46% 및 min-tDCF 0.3094를 기록하여 모든 베이스라인 시스템을 초월하였다.
• DF 트랙에서는 EER 20.33%를 기록하여 일반적인 음성 압축 조건에서 뛰어난 성능을 보였다.
• 모델 융합은 탐지 성능을 크게 향상시켰고, 증강된 개발 세트에서 융합된 시스템이 모든 개별 모델을 앞섰다.
• 더 작은 ECAPA-TDNN 변형(C=512)이 더 큰 모델(C=1024)보다 성능이 뛰어나, 높은 매개변수 수에도 불구하고 더 큰 모델에서 과적합이 발생했음을 시사한다.
• 일종의 학습과 채널에 강건한 훈련 전략의 통합으로 다양한 코덱 및 채널 조건에서 일관된 성능을 달성하였다.
• 데이터 증강에 장치 인파르스 응답을 사용함으로써 ASVspoof 2019 훈련 세트에서 발생하는 데이터셋 편향을 효과적으로 줄였다.