[논문 리뷰] Towards robust audio spoofing detection: a detailed comparison of traditional and learned features

Balamurali BT, Kin Wah Edward Lin외 3명|arXiv (Cornell University)|2019. 05. 28.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

이 논문은 전통적인 오디오 특징(예: MFCC, CQCC, 스펙트로그램)과 오토에인코더로 학습된 특징을 융합하는 하이브리드 접근 방식을 사용하여 강건한 오디오 스푸핑 탐지 시스템을 제안한다. 양식의 특징과 오토에인코더 기반 데이터 증강을 통해 훈련 데이터를 증강함으로써, ASVspoof 2017 데이터셋에서 Equal Error Rate(EER)가 10.8을 달성하였으며, 단지 알려진 특징이나 단지 학습된 특징을 사용하는 모델보다 우수한 성능을 보이며, 알려지지 않은 재생 스푸핑 공격에 대한 일반화 능력 향상에 있어 특징 다양성의 중요성을 입증한다.

ABSTRACT

Automatic speaker verification, like every other biometric system, is vulnerable to spoofing attacks. Using only a few minutes of recorded voice of a genuine client of a speaker verification system, attackers can develop a variety of spoofing attacks that might trick such systems. Detecting these attacks using the audio cues present in the recordings is an important challenge. Most existing spoofing detection systems depend on knowing the used spoofing technique. With this research, we aim at overcoming this limitation, by examining robust audio features, both traditional and those learned through an autoencoder, that are generalizable over different types of replay spoofing. Furthermore, we provide a detailed account of all the steps necessary in setting up state-of-the-art audio feature detection, pre-, and postprocessing, such that the (non-audio expert) machine learning researcher can implement such systems. Finally, we evaluate the performance of our robust replay speaker detection system with a wide variety and different combinations of both extracted and machine learned audio features on the `out in the wild' ASVspoof 2017 dataset. This dataset contains a variety of new spoofing configurations. Since our focus is on examining which features will ensure robustness, we base our system on a traditional Gaussian Mixture Model-Universal Background Model. We then systematically investigate the relative contribution of each feature set. The fused models, based on both the known audio features and the machine learned features respectively, have a comparable performance with an Equal Error Rate (EER) of 12. The final best performing model, which obtains an EER of 10.8, is a hybrid model that contains both known and machine learned features, thus revealing the importance of incorporating both types of features when developing a robust spoofing prediction model.

연구 동기 및 목표

• 공격 방법에 대한 사전 지식 없이도 알려지지 않은 재생 스푸핑 기법에 일반화되는 강건한 오디오 스푸핑 탐지 시스템을 개발하는 것.
• 다양한 전통적 오디오 특징(예: MFCC, CQCC, 스펙트로그램)과 오토에인코더로 학습된 특징의 성능을 통합된 탐지 프레임워크에서 평가하는 것.
• 비전문가 기계학습 연구자들이 활용할 수 있도록 사전 처리, 특징 추출, 후처리를 위한 상세하고 재현 가능한 파ip라인을 제공하는 것.
• 오토에인코더 복원을 통한 데이터 증강이 스푸핑 탐지의 강건성 향상에 기여하는지 조사하는 것.
• 기존 특징과 학습된 특징을 융합한 모델이 각각 단독으로 사용될 경우보다 우수한 성능을 보이는지 확인하는 것.

제안 방법

• 핵심 탐지 모델로 GMM-UBM 분류기를 사용하며, ASVspoof 2017의 '인 더 월드(in the wild)' 데이터셋에서 수집된 오디오 기록을 훈련 데이터로 활용한다.
• 전통적 오디오 특징으로는 MFCC, CQCC, LPCC, RFCC, LFCC, IMFCC, SCMC, SCFC, CCC 및 스펙트로그램을 포함하며, 표준화된 사전 처리 절차를 통해 추출한다.
• 훈련 세트에서 끝에서 끝까지 학습된 오토에인코더를 통해 오디오 특징의 압축된 저차원 표현을 학습하고, 이를 추가적인 학습된 특징으로 활용한다.
• 오토에인코더는 원본 데이터를 복원하고 증강함으로써 합성 훈련 샘플을 생성하는 데도 사용되어 데이터셋의 다양성을 증가시킨다.
• 다양한 모델을 훈련한다: 전통적 특징만 사용하는 모델, 학습된 특징만 사용하는 모델, 그리고 양식의 특징을 융합한 하이브리드 모델.
• 모델 출력은 로지스틱 회귀를 사용해 융합하여 탐지 성능을 향상시키며, EER 최적화를 위해 校정(calibration)을 적용한다.

실험 결과

연구 질문

• RQ1 재생 스푸핑 탐지에서 전통적 오디오 특징(예: MFCC, CQCC)과 오토에인코더로 학습된 특징의 성능는 어떻게 비교되는가?
• RQ2 알려지지 않은 재생 스푸핑 구성에 일반화할 때 오토에인코더 기반 특징 학습이 탐지 강건성 향상에 기여하는가?
• RQ3 오토에인코더 복원을 통한 데이터 증강이 스푸핑 탐지 성능에 미치는 영향은 무엇인가?
• RQ4 기존 특징과 학습된 특징을 융합한 하이브리드 모델이 단일 특징 유형만 사용하는 모델보다 성능이 뛰어나게 되는가?
• RQ5 ASVspoof 2017 데이터셋에서 탐지 정확도를 극대화하기 위해 여러 특징 집합을 융합하는 최적의 전략은 무엇인가?

주요 결과

• 전통적 오디오 특징(예: MFCC, CQCC, 스펙트로그램)만을 사용한 시스템은 EER 12.2를 달성하여 강력한 기준 성능를 보였다.
• 오토에인코더로 학습된 특징만을 사용한 시스템은 EER 12.6을 기록하여, 학습된 표현만으로도 경쟁력은 있지만 전통적 특징보다 略적으로 낮은 성능를 보였다.
• 기존 특징과 학습된 특징을 융합한 하이브리드 모델은 EER 10.8을 기록하여 모든 개별 모델보다 뛰어난 성능를 보였다.
• 다양한 특징 집합으로 훈련된 모델의 출력을 로지스틱 회귀로 융합함으로써 성능 향상이 뚜렷하게 향상되었으며, 다양한 특징 공간의 가치를 확인하였다.
• 오토에인코더 복원을 통한 데이터 증강을 적용한 최종 하이브리드 시스템은 기준 GMM-UBM 시스템 대비 EER에서 20%의 상대적 향상을 달성하였으며, 최첨단 성능에 가까워졌다.
• 결과적으로, 실제 세계의 다양한 데이터셋에서 강건하고 일반화 가능한 스푸핑 탐지 시스템을 구축하기 위해 알려진 특징과 학습된 특징을 융합하는 것이 필수적임을 확인하였다.