[논문 리뷰] A Study on Replay Attack and Anti-Spoofing for Automatic Speaker Verification

Lantian Li, Yixiang Chen외 2명|arXiv (Cornell University)|2017. 06. 07.

Speech Recognition and Synthesis참고 문헌 2인용 수 10

한 줄 요약

이 논문은 자동 발화자 인증에서의 리플레이 공격을 조사하며, 리플레이 탐지에서 과적합의 주요 원인으로 기기 변동성을 규명한다. F-비율 탐색 도구를 사용하여, 재생/기록 기기의 영향으로 인해 특징 패턴이 심하게 왜곡되며, 이로 인해 일반화 능력이 떨어짐을 입증한다. 기기 유형에 기인한 변동성을 억제하기 위해 주파수 왜곡 방법을 제안하며, 이는 탐지 성능 햖थ을 향상시킨다. 특히 IMFCC 특징과 GMM 분류기에서 뛰어난 성능을 보이며, ASV-Spoof 2017 데이터셋에서 전체 공분산 GMM을 사용할 경우 EER가 7.50%에 도달한다.

ABSTRACT

For practical automatic speaker verification (ASV) systems, replay attack poses a true risk. By replaying a pre-recorded speech signal of the genuine speaker, ASV systems tend to be easily fooled. An effective replay detection method is therefore highly desirable. In this study, we investigate a major difficulty in replay detection: the over-fitting problem caused by variability factors in speech signal. An F-ratio probing tool is proposed and three variability factors are investigated using this tool: speaker identity, speech content and playback & recording device. The analysis shows that device is the most influential factor that contributes the highest over-fitting risk. A frequency warping approach is studied to alleviate the over-fitting problem, as verified on the ASV-spoof 2017 database.

연구 동기 및 목표

• 자동 발화자 인증 시스템에서 리플레이 탐지 모델의 과적합 원인을 규명하는 것.
• 화자 신원, 발화 내용, 재생/기록 기기와 같은 발화 변동성 요인들이 리플레이 탐지 성능에 미치는 영향을 분석하는 것.
• 리플레이 탐지 모델에서 과적합 위험을 주도하는 요인으로 기기 변동성을 규명하는 것.
• 기기 유형에 기인한 변동성을 완화하고 모델의 일반화 능력을 향상시키기 위해 주파수 왜곡 기법을 제안하고 평가하는 것.
• 다양한 분류기와 특징 유형을 사용하여 ASV-Spoof 2017 데이터베이스에서 제안된 방법의 효과성을 검증하는 것.

제안 방법

• 다양한 변동성 요인(화자, 내용, 기기) 간의 특징의 분류 능력을 정량화하기 위해 F-비율 지표를 탐색 도구로 사용한다.
• 세 가지 특징 유형을 분석한다: MFCC(Mel-주파수 첨자계수), LFCC(선형 주파수 첨자계수), IMFCC(중간 주파수 첨자계수)로, 각각 다른 스펙트럼 표현에서 유도된다.
• 리플레이 아티팩트가 가장 분류 능력이 높은 고주파 대역을 강조하고, 기기 변동성에 영향을 많이 받는 저주파 대역을 감소시키기 위해 주파수 왜곡 방법을 도입한다.
• 비균일 주파수 왜곡 함수를 적용하여 스펙트럼 에너지를 재가중함으로써, 기기 특유의 왜곡이 특징 공간에 미치는 영향을 줄인다.
• 세 가지 분류기를 평가한다: GMM(정규 혼합 모델), i-vector/SVM(i-vector 임bedding과 함께 사용하는 서포트 벡터 머신), DNN(딥 네ural 네트워크)로, 성능은 등오차율(EER)로 측정된다.
• DNN는 프레임 수준 분류를 위해 두 층의 CNN을 사용하고, 이후 TDNN을 적용하며, 후행 평균을 통해 발화 수준의 결정을 내린다.

실험 결과

연구 질문

• RQ1 리플레이 탐지 모델의 과적합에 기여하는 주요 발화 신호 변동성 요인은 무엇인가?
• RQ2 재생 및 기록 기기가 F-비율 패턴에 어떤 영향을 미치며, 이는 리플레이 탐지 시스템의 일반화 능력에 어떻게 영향을 주는가?
• RQ3 주파수 왜곡 기법을 통해 기기 변동성의 영향을 어느 정도 감소시킬 수 있는가?
• RQ4 MFCC, LFCC, IMFCC 중 어떤 특징 유형이 기기 유형에 기인한 변동성에 가장 강건한 성능을 보이는가?
• RQ5 GMM, i-vector/SVM, DNN와 같은 다양한 분류기 간에 리플레이 공격 탐지에서 일반화 능력과 신뢰성 측면에서 어떤 차이가 있는가?

주요 결과

• 기기 변동성이 과적합에 가장 큰 영향을 미치며, 화자 신원과 발화 내용과 비교해 기기 간 F-비율 변동성이 가장 높게 나타남을 확인함.
• IMFCC 특징 유형이 가장 뛰어난 탐지 성능을 보이며, 전체 공분산 GMM을 사용할 경우 EER가 7.50%에 도달함으로써 MFCC 및 LFCC보다 과적합이 적음을 시사함.
• 전체 공분산 GMM이 가장 낮은 EER 7.50%를 기록하며, 더 복잡한 모델인 DNN보다도 성능이 뛰어남. 이는 DNN가 과적합으로 인해 높은 변동성을 보임을 시사함.
• 주파수 왜곡 기법은 기기 유형에 기인한 스펙트럼 왜곡, 특히 저주파 대역에서의 왜곡을 억제함으로써 탐지 성능을 크게 향상시킴.
• 높은 능력을 지닌 DNN 모델은 과적합으로 인해 신뢰성이 떨어지며, 다양한 초기화 설정에 따라 결과가 크게 편차를 보임.
• F-비율 분석을 통해 리플레이 탐지에 가장 분류 능력이 높은 정보는 기기 변동성에 덜 영향을 받는 고주파 대역에 집중되어 있음이 확인됨.