[논문 리뷰] Improving the Adversarial Robustness for Speaker Verification by Self-Supervised Learning

Haibin Wu, Xu Li외 4명|arXiv (Cornell University)|2021. 06. 01.

Speech Recognition and Synthesis인용 수 5

한 줄 요약

이 논문은 공격 방법에 대한 사전 지식이 없이도 악성 공격에 대한 자율 학습(SSL) 기반 방어 기법을 제안한다. 이는 두 가지 접근 방식을 통해 이루어지며, 첫째로 자율 학습 리커스터(Reformer)를 이용해 악성 편향을 제거하여 청정 음성으로 복원하는 정제 모듈과, 둘째로 여러 개의 SSL 모델에서 도출된 ASV 점수의 통계 분석을 통해 악성 샘플을 탐지하는 모듈을 포함한다. 이로 인해 악성 공격의 거짓 경고율(FAR)이 67% 이상에서 30% 이하로 감소하였고, 탐지 정확도는 79.0~83.3%에 달한다.

ABSTRACT

Previous works have shown that automatic speaker verification (ASV) is seriously vulnerable to malicious spoofing attacks, such as replay, synthetic speech, and recently emerged adversarial attacks. Great efforts have been dedicated to defending ASV against replay and synthetic speech; however, only a few approaches have been explored to deal with adversarial attacks. All the existing approaches to tackle adversarial attacks for ASV require the knowledge for adversarial samples generation, but it is impractical for defenders to know the exact attack algorithms that are applied by the in-the-wild attackers. This work is among the first to perform adversarial defense for ASV without knowing the specific attack algorithms. Inspired by self-supervised learning models (SSLMs) that possess the merits of alleviating the superficial noise in the inputs and reconstructing clean samples from the interrupted ones, this work regards adversarial perturbations as one kind of noise and conducts adversarial defense for ASV by SSLMs. Specifically, we propose to perform adversarial defense from two perspectives: 1) adversarial perturbation purification and 2) adversarial perturbation detection. Experimental results show that our detection module effectively shields the ASV by detecting adversarial samples with an accuracy of around 80%. Moreover, since there is no common metric for evaluating the adversarial defense performance for ASV, this work also formalizes evaluation metrics for adversarial defense considering both purification and detection based approaches into account. We sincerely encourage future works to benchmark their approaches based on the proposed evaluation framework.

연구 동기 및 목표

• 재생 및 합성 음성 공격에 비해 아직 다루어지지 않은, 화자 확인 시스템의 악성 공격에 대한 임계적인 취약성을 해결한다.
• 해당 공격의 구체적인 알고리즘을 알지 못해도 되는 ASV 방어 기법을 개발한다.
• 자율 학습 모델의 노이즈에 강건한 특성(노이즈 내성)을 활용해 악성 편향을 정제하고 악성 입력을 탐지한다.
• 정제 및 탐지 기반 접근 방식을 모두 수용하는 표준화된 평가 프레임워크를 구축한다.
• 다양한 공격 유형(FGSM, BIM, JSMA)과 ASV 시스템(r-vector, x-vector)에 대해 방어 기법의 일반화 능력을 입증한다.

제안 방법

• 자율 학습 리커스터(SSLReformer, SSLR)를 정제 모듈로 사용하여, 편향된 입력에서 청정 음성을 복원한다. 이때 편향을 노이즈로 간주한다.
• 정제 성능 향상을 위해 SSLR를 악성 샘플에 대해 미세 조정하여, 정상 샘플의 품질 저하를 최소화하면서도 진짜 화자 특성을 잘 유지하도록 한다.
• 다양한 수의 연결된 SSL 모델을 사용해 ASV 점수의 통계 분포를 분석함으로써 악성 입력을 탐지하는 탐지 모듈을 설계한다.
• 점수 분포에서 5차까지의 고차 통계 모멘트를 추출하여 악성 입력의 이질성을 탐지한다.
• ASV 모델과 탐지 모듈을 병렬로 통합하여, 확인 이전에 악성 샘플을 걸러내도록 한다.
• 정제 및 탐지 성능을 동시에 평가할 수 있는 새로운 평가 프레임워크를 제안하며, AdvFAR, AdvFRR, j-FAR, j-FRR, EER_det 등의 지표를 포함한다.

실험 결과

연구 질문

• RQ1 자율 학습 모델이 공격 방법에 대한 사전 지식 없이도 화자 확인 입력에서 악성 편향을 효과적으로 정제할 수 있는가?
• RQ2 다양한 SSL 모델 통합에서 도출된 ASV 점수의 통계적 차이가 악성 샘플을 신뢰성 있게 탐지할 수 있는가?
• RQ3 기존의 필터링 기반 기준 대비, 제안된 정제 기법이 악성 공격 상황에서도 진짜 화자 확인 성능을 얼마나 잘 유지하는가?
• RQ4 탐지 모듈이 다양한 악성 공격 유형(FGSM, BIM, JSMA)에 대해 얼마나 잘 일반화되는가?
• RQ5 화자 확인에서의 악성 공격 방어 평가에 가장 적합한 지표는 무엇이며, 어떻게 표준화할 수 있는가?

주요 결과

• SSLR 기반 정제 모듈은 r-vector 시스템에서 악성 공격의 거짓 경고율(FAR)을 72.30%에서 20.82%로 감소시키며, x-vector 시스템에선 67.29%에서 26.21%로 감소시켜 강건성을 크게 향상시켰다.
• 정제 후 정상 샘플 성능 유지에 성공하여, r-vector의 경우 미세 조정 후 진짜 EER가 3.12%p 감소하였고, x-vector의 경우 1.70%p 감소하였다.
• 탐지 모듈은 r-vector 시스템에서 BIM 공격에 대해 79.0%의 탐지 정확도, x-vector 시스템에선 83.3%를 기록했으며, JSMA 공격에 대해선 EER_det이 최소 13.6%까지 낮아졌다.
• 다양한 공격 유형에 대해 우수한 일반화 성능를 보였으며, EER_det은 JSMA 공격 시 13.6%에서 FGSM 공격 시 31.6%까지 변동하여, 더 효과적인 공격일수록 더 잘 탐지됨을 시사한다.
• ASV 모델과 탐지 모듈을 통합함으로써 j-FAR가 r-vector 시스템에서 39.08%에서 10.01%로, x-vector 시스템에선 31.21%에서 9.17%로 감소하여 실용적 영향이 뚜렷했다. 다만 j-FRR는 다소 증가하였다.
• AdvFAR, j-FAR, j-FRR, EER_det 등의 지표를 포함한 제안된 평가 프레임워크는 향후 ASV 분야의 악성 공격 방어 연구를 위한 표준 기준을 제공한다.