[논문 리뷰] The DKU Replay Detection System for the ASVspoof 2019 Challenge: On Data Augmentation, Feature Representation, Classification, and Fusion

Weicheng Cai, Haiwei Wu외 2명|arXiv (Cornell University)|2019. 07. 05.

Speech Recognition and Synthesis참고 문헌 30인용 수 7

한 줄 요약

이 논문은 ASVspoof 2019 챌린지의 DKU 리플레이 탐지 시스템을 제시하며, 속도 왜곡을 통한 데이터 증강, 단위 발화 수준의 깊이 신경망 분류, 그리고 잔차 신경망 기반의 프레임워크를 활용한다. 모델 융합을 통해 개발 세트에서 EER이 0.24%로, 평가 세트에서 0.66%로 기록되어 물리적 접근 시나리오에서 리플레이 위변조에 대비하는 최신 기술 수준의 성능을 입증한다.

ABSTRACT

This paper describes our DKU replay detection system for the ASVspoof 2019 challenge. The goal is to develop spoofing countermeasure for automatic speaker recognition in physical access scenario. We leverage the countermeasure system pipeline from four aspects, including the data augmentation, feature representation, classification, and fusion. First, we introduce an utterance-level deep learning framework for anti-spoofing. It receives the variable-length feature sequence and outputs the utterance-level scores directly. Based on the framework, we try out various kinds of input feature representations extracted from either the magnitude spectrum or phase spectrum. Besides, we also perform the data augmentation strategy by applying the speed perturbation on the raw waveform. Our best single system employs a residual neural network trained by the speed-perturbed group delay gram. It achieves EER of 1.04% on the development set, as well as EER of 1.08% on the evaluation set. Finally, using the simple average score from several single systems can further improve the performance. EER of 0.24% on the development set and 0.66% on the evaluation set is obtained for our primary system.

연구 동기 및 목표

• 물리적 접근 시나리오에서 리플레이 공격에 대비한 강력한 위변조 방지 시스템을 딥 러닝을 활용해 개발한다.
• 데이터 증강, 특징 표현, 분류기 설계가 위변조 탐지 성능에 미치는 영향을 조사한다.
• 다양한 특징과 증강 전략을 활용해 훈련된 다수의 시스템을 융합하여 일반화 능력과 강건성을 향상시킨다.
• 변형된 입력 길이 처리 기능을 갖춘 엔드 투 엔드 딥 러닝을 활용해 CQCC-GMM 기반 모델을 초월한다.
• 리플레이 탐지에서 위상 기반 특징(예: 그룹 지연 그램)이 진폭 기반 특징보다 우수한 성능을 보임을 검증한다.

제안 방법

• 변형된 길이의 특징 시퀀스를 직접 처리하는 발화 수준의 딥 신경망(DNN) 프레임워크를 사용하여 추론 시 잘라내기나 패딩이 필요 없도록 한다.
• 시스템은 ASVspoof 2019 훈련 세트에서 처음부터 엔드 투 엔드로 훈련된 잔차 신경망(ResNet)을 분류기로 활용한다.
• 다양한 프론트엔드 특징 표현 방식을 평가: CQCC, LFCC, IMFCC, STFT 그램, 그룹 지연 그램(GD 그램), 그 중 GD 그램은 위상 스펙트럼에서 유도된다.
• 원시 웨이브폼에 속도 왜곡을 적용하여 데이터 증강을 실시함으로써 훈련 데이터의 다양성을 증가시키고 일반화 능력을 향상시킨다.
• 다양한 단일 시스템의 점수를 평균 내는 방식으로 모델 융합을 구현하여 강건성과 성능을 향상시킨다.
• 훈련 과정은 길이가 변하는 시퀀스를 포함한 동적 미니배치를 사용하며, 최종 점수는 정상 음성 출력 유닛에서 유도된다.

실험 결과

연구 질문

• RQ1 변형된 입력 길이 처리 기능을 갖춘 발화 수준의 딥 러닝이, 리플레이 탐지에서 프레임 수준의 평균화 방식보다 어떻게 비교되는가?
• RQ2 진폭 기반 특징(예: STFT 그램)과 위상 기반 특징(예: GD 그램) 중 어느 것이 리플레이 위변조 탐지에 더 뛰어난 성능을 내는가?
• RQ3 속도 왜곡을 데이터 증강 전략으로 활용할 경우 일반화 능력 향상과 EER 감소에 얼마나 기여하는가?
• RQ4 다른 특징과 증강 전략을 사용해 훈련된 시스템의 모델 융합을 통해 EER을 추가로 낮추고 강건성을 향상시킬 수 있는가?
• RQ5 제안된 시스템이 ASVspoof 2019 챌린지의 개발 세트와 평가 세트 간에 어떻게 일반화되는가?

주요 결과

• 위상 스펙트럼에서 유도된 GD 그램 특징 표현 방식이 평가된 모든 특징 중에서 가장 뛰어난 성능을 보였으며, ResNet과 함께 사용했을 때 개발 세트에서 EER이 1.81%를 기록했다.
• 속도 왜곡을 통한 데이터 증강은 GD 그램–ResNet 시스템의 EER을 개발 세트에서 1.81%에서 1.03%로 48% 감소시켰다.
• 최고의 단일 시스템은 속도 왜곡이 적용된 GD 그램 특징과 ResNet을 사용하여 평가 세트에서 EER이 1.08%를 기록했다.
• 다양한 시스템의 점수를 단순 평균 내는 융합 방식을 통해 개발 세트에서 EER이 0.24%로, 평가 세트에서 0.66%로 감소하여 강력한 일반화 능력을 입증했다.
• 개발 세트와 평가 세트 간 성능 격차가 미미하여 제안된 시스템의 높은 강건성과 신뢰성을 보여주었다.
• 엔드 투 엔드 훈련을 수행하는 발화 수준의 DNN 프레임워크는 CQCC 특징을 사용하는 전통적 GMM 분류기보다 뛰어난 성능을 보였으며, 동일한 개발 세트에서 9.87%의 EER을 기록했다.