[논문 리뷰] Audio Spoofing Verification using Deep Convolutional Neural Networks by Transfer Learning

Rahul T. P, P. R. Aravind외 3명|arXiv (Cornell University)|2020. 08. 08.

Speech Recognition and Synthesis참고 문헌 13인용 수 27

한 줄 요약

이 논문은 멜스펙트로그램과 최적화된 ResNet-34 아키텍처를 사용한 전이학습 기반의 딥 컨volution 신경망(DCNN)을 제안하여 오디오 스푸핑 공격을 탐지한다. 이는 ASVspoof 2019 논리적 접근 개발 세트에서 EER 0.9056%와 평가 세트에서 5.32%를 기록하며, 재생, TTS, 음성 변환을 포함한 다양한 스푸핑 유형에 대해 강력한 일반화 능력을 보이며 기준 모델들을 능가한다.

ABSTRACT

Automatic Speaker Verification systems are gaining popularity these days; spoofing attacks are of prime concern as they make these systems vulnerable. Some spoofing attacks like Replay attacks are easier to implement but are very hard to detect thus creating the need for suitable countermeasures. In this paper, we propose a speech classifier based on deep-convolutional neural network to detect spoofing attacks. Our proposed methodology uses acoustic time-frequency representation of power spectral densities on Mel frequency scale (Mel-spectrogram), via deep residual learning (an adaptation of ResNet-34 architecture). Using a single model system, we have achieved an equal error rate (EER) of 0.9056% on the development and 5.32% on the evaluation dataset of logical access scenario and an equal error rate (EER) of 5.87% on the development and 5.74% on the evaluation dataset of physical access scenario of ASVspoof 2019.

연구 동기 및 목표

• 재생, 텍스트-음성 합성, 음성 변환을 포함한 다양한 스푸핑 공격에 대해 일반화 가능한 강력한 오디오 스푸핑 탐지 시스템을 개발한다.
• 대규모 이미지 분류에서 학습된 사전 훈련된 깊은 신경망을 활용한 전이학습을 통해 기존 기준 모델 대비 탐지 성능을 향상시킨다.
• 자동화된 화자 확인 시스템에서 스푸핑 탐지에 대해 시간-주파수 표현으로서 멜스펙트로그램의 효과를 평가한다.
• 단일 통합 모델이 논리적 접근과 물리적 접근 시나리오 양쪽 모두에서 스푸핑을 효과적으로 탐지할 수 있음을 입증한다.

제안 방법

• 시스템은 원시 오디오에서 2048점 FFT와 512점 힙 사이즈를 사용해 유도한 멜스펙트로그램을 입력 특징으로 사용하며, 모델 호환성을 위해 224×224로 크기 조정된다.
• 대규모 이미지 분류에서 학습된 특징을 활용하기 위해 ASVspoof 2019 데이터셋에서 사전 훈련된 ResNet-34 아키텍처를 미세조정하는 전이학습 기법을 적용한다.
• Google Colab에서 Tesla K80 GPU를 사용하여 8 에포크 동안 학습률 1e-6, 배치 크기 64로 ADAM 옵timizer를 사용해 모델을 훈련한다.
• 오디오 전처리는 Google 클라우드 플랫폼을 통해 수행되었으며, 모델 훈련은 PyTorch 기반의 fastai 라이브러리를 사용하여 수행되었다.
• 멜스펙트로그램 입력에서 학습된 고수준 특징을 기반으로 입력 오디오를 정상 또는 스푸핑으로 분류하는 프레임워크를 구축한다.
• 성능 평가에는 동등 오류율(EER)과 t-DCF를 사용하며, 거짓 수락률와 거짓 거부률의 균형을 맞추기 위해 임계값 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 전이학습을 통해 훈련된 단일 딥러닝 모델이 재생, TTS, 음성 변환을 포함한 다양한 스푸핑 공격 유형에 효과적으로 일반화될 수 있는가?
• RQ2 스푸핑 탐지 성능에서 멜스펙트로그램을 시간-주파수 표현으로 사용할 경우, 다른 프론트엔드 특징 대비 어떤가?
• RQ3 사전 훈련된 ResNet-34 아키텍처를 미세조정하는 것이, 무작위 초기화에서 훈련하거나 간단한 모델을 사용하는 것보다 스푸핑 탐지 정확도를 얼마나 향상시키는가?
• RQ4 통합 모델 아키텍처가 ASVspoof 2019 챌린지에서 논리적 접근과 물리적 접근 시나리오 양쪽 모두에서 유사한 성능을 보일 수 있는가?
• RQ5 개발 세트에 포함되지 않은 새로운 스푸핑 알고리즘에 대해 모델의 성능가 일반화 능력과 어떻게 관련이 있는가?

주요 결과

• 제안된 모델은 논리적 접근 시나리오에서 개발 세트에서 EER 0.9056%, 평가 세트에서 5.32%를 기록하며, 기준 모델인 CQCC-GMM 및 LFCC-GMM 시스템을 능가했다.
• 물리적 접근 시나리오에서는 개발 세트에서 EER 5.87%, 평가 세트에서 5.74%를 기록하여 접근 유형 간 강력한 내구성을 입증했다.
• 물리적 접근 시나리오에서 t-DCF와 EER 간 상관계수가 0.99686이며, 논리적 접근 시나리오에서는 0.96886로 나타나 성능 지표의 일관성을 보였다.
• 주요 성능 지표와 단일 시스템 성능 지표에서 논리적 접근과 물리적 접근 양쪽 시나리오에서 상위 3개 팀 중 하나로 평가되었다.
• 기준 방법 대비 음성 변환 기반 스푸핑 공격(예: A17) 탐지 성능이 뛰어나 복잡한 스푸핑 기법에 대한 강력한 일반화 능력을 보였다.
• 개발 및 평가 세트에서 뛰어난 성능를 기록했음에도 불구하고, ASVspoof 2019 챌린지에서 최고 성능을 기록한 시스템의 논리적 접근 시나리오 EER 11.40%에 비해 성능이 열등하여, 예상치 못한 스푸핑 변종 처리에 대한 향상 여지가 있음을 시사했다.