[논문 리뷰] Adversarial defense for automatic speaker verification by cascaded self-supervised learning models

Haibin Wu, Xu Li외 4명|arXiv (Cornell University)|2021. 02. 14.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 9

한 줄 요약

이 논문은 사전 학습된 TERA 모델을 사용하여 자동 음성 인식(ASV) 시스템에서 악성 편향을 정제하는 계단식(self-supervised) 학습 방식의 방어 기법을 제안한다. ASV 시스템의 상游에 여러 TERA 모델을 배치함으로써, 공격자가 방어 메커니즘을 알고 있는지 여부에 관계없이 백색 상자 및_BLK 백색 상자 공격 모두를 효과적으로 완화하면서 진짜 입력에 대한 성능을 유지한다. 이는 공격 유형에 특화된 지식이 필요 없는 수작업 필터나 방어 기법보다 뛰어난 성능을 보인다.

ABSTRACT

Automatic speaker verification (ASV) is one of the core technologies in biometric identification. With the ubiquitous usage of ASV systems in safety-critical applications, more and more malicious attackers attempt to launch adversarial attacks at ASV systems. In the midst of the arms race between attack and defense in ASV, how to effectively improve the robustness of ASV against adversarial attacks remains an open question. We note that the self-supervised learning models possess the ability to mitigate superficial perturbations in the input after pretraining. Hence, with the goal of effective defense in ASV against adversarial attacks, we propose a standard and attack-agnostic method based on cascaded self-supervised learning models to purify the adversarial perturbations. Experimental results demonstrate that the proposed method achieves effective defense performance and can successfully counter adversarial attacks in scenarios where attackers may either be aware or unaware of the self-supervised learning models.

연구 동기 및 목표

• 안전을 요구하는 자동 음성 인식(ASV) 시스템에 대한 점점 증가하는 악성 공격 위협을 해결하기 위해.
• 공격자가 방어 기법을 알고 있는지 여부에 관계없이 효과적인 방어 기법을 개발하여 특정 공격 패tern에 과적합되지 않도록 하기 위해.
• 기존 ASV 모델의 내부 아키텍처를 수정하지 않고도 ASV의 강인성을 향상시키기 위해.
• 자율 학습 모델을 깊이 있는, 공격에 관계없는 필터로 사용하여 악성 노이즈를 제거할 수 있는지 탐색하기 위해.
• 공격자가 방어 기법을 모른 상태와 안다는 가정 하에 공격 시나리오를 모두 평가하기 위해, 전이 가능성과 백색 상자 공격에 대한 저항성 포함.

제안 방법

• 방어 기법은 ASV 시스템의 상游에 위치한 TERA(Transformer Encoder Representations from Alteration) 모델을 사용하여 악성 입력을 정제한다.
• TERA 모델은 노이즈 또는 훼손된 입력, 특히 악성 편향까지 포함하여 깨끗한 음성을 복원할 수 있도록 노이즈 제거 오토인코딩 작업을 통해 사전 학습된다.
• 이 방법은 플러그인 필터로 적용되며, 여러 TERA 모델을 순차적으로 스택하여 악성 노이즈를 점진적으로 제거하는 계단식 정제 파이프라인을 형성한다.
• 이 방어 기법은 공격에 관계없는 방식으로, 공격의 특정 매개변수나 생성 전략에 대한 지식이 필요하지 않다.
• 이 접근법은 두 가지 시나리오에서 평가된다: TERA를 모른 채 공격하는 경우(흑색 상자)와 TERA를 안다는 가정 하에 공격하는 경우(백색 상자), 공격 샘플은 ε=0.3로 BIM을 사용해 생성된다.
• 성능은 진짜 입력과 악성 입력 모두에 대해 등오류율(EER)로 측정되며, 수작업 필터(Gaussian, median, mean)와 비교된다.

실험 결과

연구 질문

• RQ1 계단식 TERA 모델은 흑색 상자 환경에서 ASV 시스템에 대한 악성 공격의 성공률을 효과적으로 감소시킬 수 있는가?
• RQ2 공격자가 TERA 모델을 알고 있으며 타겟 공격을 생성할 경우, 이 방어 기법은 어떻게 작동하는가?
• RQ3 계단식 TERA 방어 기법은 진짜, 훼손되지 않은 음성 입력에 대한 ASV 성능을 유지하는가?
• RQ4 계단식 TERA 방어 기법은 기존 수작업 필터(Gaussian, median 등)와 비교해 악성 입력 및 정상 입력 모두에서 어떻게 성능을 내는가?
• RQ5 계단식 구조에 TERA 모델의 수를 늘리면 백색 상자 공격에 대한 방어 강인성이 더욱 향상되는가?

주요 결과

• 계단식 TERA 방어 기법은 악성 입력에 대한 EER을 방어 없이 66.02%에서 22.94%로 감소시켜 공격 효과를 강력하게 완화함을 입증했다.
• 공격자가 TERA 모델을 알고 있으며 이를 기반으로 악성 샘플을 생성하는 상황에서도, TERA 모델의 수를 늘릴수록 EER이 54.55%(TERA 없음)에서 40.69%(세 개의 TERA 모델)로 감소함을 확인했다.
• TERA 기반 방어 기법은 수작업 필터보다 뛰어났다: 악성 입력에 대한 EER은 22.94%로 낮았고, 수작업 필터의 29.44–31.60%보다 낮았다. 또한 진짜 입력 성능도 17.32%로 유지되었고, 수작업 필터의 27.06–30.30%보다 우수했다.
• 이 방법은 흑색 상자 및 백색 상자 공격 시나리오 모두에서 강인성을 유지했으며, 공격자가 방어 기법을 완전히 알고 있는 경우에도 효과적임을 보였다.
• 진짜 입력에 대한 성능 저하(EER이 8.87%에서 17.32%로 상승)는 수작업 필터보다 덜 심각했으며, TERA 모델의 더 높은 복원 정확도를 시사했다.
• 이 방어 기법은 계산 비용이 높은 편이지만, 특히 백색 상자 환경에서 그렇고, 계단식 설계 덕분에 적응형 공격자에 대비한 확장 가능한 방어 전략을 제공한다.