[논문 리뷰] Replay attack detection with complementary high-resolution information using end-to-end DNN for the ASVspoof 2019 Challenge

Jee-weon Jung, Hye-jin Shim외 2명|arXiv (Cornell University)|2019. 04. 23.

Speech and Audio Processing참고 문헌 28인용 수 12

한 줄 요약

이 논문은 자동 화자 확인에서 재생 공격 탐지를 위해 고해상도 스펙트로그램(세로, 위상, 전력스펙트럼밀도(PSD) 정보 포함)를 직접 처리하는 엔드 투 엔드 딥 네트워크(DNN)를 제안한다. 수작업 특징 대신 보완적인 고해상도 스펙트로그램을 사용하고, 원시 웨이브폼 및 i-벡터와의 앙상블을 통해 ASVspoof 2019 물리적 접근 챌린지 평가 세트에서 2.45%의 동등오류율(EER)과 0.0570의 t-DCF를 달성하여 기준 시스템을 크게 능가한다.

ABSTRACT

In this study, we concentrate on replacing the process of extracting hand-crafted acoustic feature with end-to-end DNN using complementary high-resolution spectrograms. As a result of advance in audio devices, typical characteristics of a replayed speech based on conventional knowledge alter or diminish in unknown replay configurations. Thus, it has become increasingly difficult to detect spoofed speech with a conventional knowledge-based approach. To detect unrevealed characteristics that reside in a replayed speech, we directly input spectrograms into an end-to-end DNN without knowledge-based intervention. Explorations dealt in this study that differentiates from existing spectrogram-based systems are twofold: complementary information and high-resolution. Spectrograms with different information are explored, and it is shown that additional information such as the phase information can be complementary. High-resolution spectrograms are employed with the assumption that the difference between a bona-fide and a replayed speech exists in the details. Additionally, to verify whether other features are complementary to spectrograms, we also examine raw waveform and an i-vector based system. Experiments conducted on the ASVspoof 2019 physical access challenge show promising results, where t-DCF and equal error rates are 0.0570 and 2.45 % for the evaluation set, respectively.

연구 동기 및 목표

• 최신 재생 공격에 대비해 수작업 특징의 효과 감소 문제를 해결하기 위해.
• 고해상도 스펙트로그램을 사용한 엔드 투 엔드 딥 러닝이 재생된 음성의 미세한 왜곡을 더 잘 포착할 수 있는지 조사하기 위해.
• 다양한 스펙트로그램 유형(세로, 위상, PSD)과 추가 특징(원시 웨이브폼, i-벡터) 간의 보완성 여부를 탐색하여 스푸핑 탐지 성능 향상에 기여하기 위해.
• 미세한 차이를 감지하기 위해 고해상도 표현(2048 FFT 빈)과 최적의 윈도우/시프트 파rameter의 중요성을 입증하기 위해.
• 기존 지식 의존도를 최소화하면서도 ASVspoof 2019 물리적 접근 챌린지에서 최고 성능을 달성하는 강력한 데이터 기반 시스템을 개발하기 위해.

제안 방법

• 2048 FFT 빈을 가진 고해상도 스펙트로그램을 직접 엔드 투 엔드 DNN 아키텍처(합성곱층, 잔차 블록, 게이트드 순환단위(GRUs), 완전연결층 포함)에 입력한다.
• 보완적인 스펙트로그램 표현 탐색: 세로(|X|), 위상(arg(X)), 전력스펙트럼밀도(PSD)를 통해 다양한 신호 특성 포착.
• 모델 수준 및 점수 수준 앙상블 전략을 적용하여 다수의 스펙트로그램 기반 모델을 융합하며, 점수 수준 융합이 성능 향상에 뚜렷한 기여를 한다.
• 원시 웨이브폼과 i-벡터를 추가 입력 모odal로 통합하여 스펙트로그램 특징를 보완하고, 각각의 독특한 표현력 강점을 활용한다.
• 재생 아티팩트의 미세한 차이를 감지하기 위해 윈도우 길이와 힙 사이즈(예: 50ms 윈도우, 20ms 시프트)를 최적화한다.
• ASVspoof 2019 물리적 접근 챌린지 데이터셋에서 t-DCF와 EER를 평가 지표로 사용하여 다양한 재생 구성에 대한 시스템의 강건성 검증.

실험 결과

연구 질문

• RQ1 고해상도 스펙트로그램을 학습한 엔드 투 엔드 DNN가 기존 수작업 특징 기반 시스템보다 재생 공격 탐지에서 뛰어난 성능을 보일 수 있는가?
• RQ2 세로 이외의 보완적 스펙트로그램 특징(세로, 위상, PSD)을 통합할 경우, 세로만 사용하는 것보다 탐지 성능 향상이 이루어지는가?
• RQ3 스펙트로그램의 해상도(예: 2048 FFT 빈)가 미세한 재생 아티팩트 탐지에 어떤 영향을 미치는가?
• RQ4 원시 웨이브폼과 i-벡터가 스펙트로그램과 함께 스푸핑 탐지에 보완적인 정보를 제공하는 정도는 어느 정도인가?
• RQ5 특히 공격자-대화자 거리와 재생 장치 품질의 변화에 따라 제안된 엔드 투 엔드 시스템의 강건성은 어떠한가?

주요 결과

• 고해상도 스펙트로그램(2048 FFT 빈)을 사용한 제안된 엔드 투 엔드 DNN는 ASVspoof 2019 평가 세트에서 동등오류율(EER) 2.45%와 t-DCF 0.0570을 달성하여 기준 CQCC-GMM 시스템(EER: 11.04%, t-DCF: 0.2454)을 크게 능가한다.
• 7개의 스펙트로그램 기반 모델의 점수 수준 앙상블은 EER를 1.05%로 감소시켜, 점수 수준 융합이 모델 수준 융합보다 더 효과적임을 입증한다.
• 주요 시스템에 원시 웨이브폼과 i-벡터 특징을 통합함으로써 EER는 0.96%로 추가로 감소하여, 이들이 스펙트로그램 표현과 보완적임을 확인한다.
• 50ms 윈도우와 20ms 시프트를 사용한 고해상도 스펙트로그램(2048 빈)은 EER 1.76%를 기록했고, 30ms 윈도우와 10ms 시프트는 EER 3.07%로 상승하여 윈도우 및 시프트 파rameter가 성능에 결정적인 영향을 미침을 입증한다.
• 주요 시스템은 다양한 재생 구성에 대해 뛰어난 강건성을 보였으며, 특히 고품질 재생 장치에서 기준 시스템의 EER가 20%를 초과하는 동안 제안된 시스템은 3% 이내의 EER를 유지했다.
• 시각화 결과, 본래의 음성과 재생된 음성 간의 스펙트로그램과 PSD의 미세한 차이(예:粉색 상자 내)를 확인할 수 있었으며, 이는 미세한 스푸핑 아티팩트 탐지를 위해 고해상도 분석의 필요성을 강조한다.