[논문 리뷰] Adversarial Attacks and Defenses for Speaker Identification Systems.

Sonal Joshi, Jesús Villalba외 3명|arXiv (Cornell University)|2021. 01. 22.

Adversarial Robustness in Machine Learning참고 문헌 62인용 수 8

한 줄 요약

이 논문은 최신 음성 식별(SID) 시스템이 적대적 공격—특히 FGSM, BIM, 및 CW—에 얼마나 취약한지 조사한다. 반복적이고 적응형 공격 조건에서 극도로 취약한 것으로 밝혀졌으며, 무작위 스무딩과 WaveGAN 볼륨라이저를 조합한 하이브리드 방어 전략을 제안한다. 이 전략은 블랙박스 조건에서 93%의 정확도를 달성했고, 청각적으로 구분 가능한 노이즈가 존재하는 화이트박스 공격 조건(≥0.01)에서도 강건성을 유지하며 97%의 정확도를 확보한다.

ABSTRACT

Research in automatic speaker recognition (SR) has been undertaken for several decades, reaching great performance. However, researchers discovered potential loopholes in these technologies like spoofing attacks. Quite recently, a new genre of attack, termed adversarial attacks, has been proved to be fatal in computer vision and it is vital to study their effects on SR systems. This paper examines how state-of-the-art speaker identification (SID) systems are vulnerable to adversarial attacks and how to defend against them. We investigated adversarial attacks common in the literature like fast gradient sign method (FGSM), iterative-FGSM / basic iterative method (BIM) and Carlini-Wagner (CW). Furthermore, we propose four pre-processing defenses against these attacks - randomized smoothing, DefenseGAN, variational autoencoder (VAE) and WaveGAN vocoder. We found that SID is extremely vulnerable under Iterative FGSM and CW attacks. Randomized smoothing defense robustified the system for imperceptible BIM and CW attacks recovering classification accuracies ~97%. Defenses based on generative models (DefenseGAN, VAE and WaveGAN) project adversarial examples (outside manifold) back into the clean manifold. In the case that attacker cannot adapt the attack to the defense (black-box defense), WaveGAN performed the best, being close to clean condition (Accuracy>97%). However, if the attack is adapted to the defense - assuming the attacker has access to the defense model (white-box defense), VAE and WaveGAN protection dropped significantly-50% and 37% accuracy for CW attack. To counteract this,we combined randomized smoothing with VAE or WaveGAN. We found that smoothing followed by WaveGAN vocoder was the most effective defense overall. As a black-box defense, it provides 93% average accuracy. As white-box defense, accuracy only degraded for iterative attacks with perceptible perturbations (L>=0.01).

연구 동기 및 목표

• 최신 음성 식별(SID) 시스템이 FGSM, BIM, 및 CW와 같은 적대적 공격에 얼마나 취약한지 평가하는 것.
• 무작위 스무딩, DefenseGAN, VAE, WaveGAN를 포함한 사전 처리 방어 전략이 적대적 편향을 완화하는 데 얼마나 효과적인지 평가하는 것.
• 공격자가 모델에 대한 액세스 권한이 없는 블랙박스 조건과 공격자가 방어 모델에 대한 전체 액세스 권한을 가진 화이트박스 조건에서의 방어 성능을 조사하는 것.
• 무작위 스무딩과 생성 모델을 조합한 하이브리드 방어 전략을 설계하고, 적응형 공격에 대한 강건성을 향상시키는 데 평가하는 것.
• 다양한 편향 수준(L≥0.01)에서 강건성과 음성 품질 간의 상호 상충 관계를 정량화하는 것.

제안 방법

• 표준 적대적 공격 방법인 FGSM, 반복적-FGSM(BIM), 및 Carlini-Wagner(CW)를 사용하여 SID 시스템을 대상으로 하는 적대적 오디오 샘플을 생성하는 것.
• 네 가지 사전 처리 방어 전략을 구현: 입력에 노이즈를 추가하는 무작위 스무딩, 생성 모델 기반의 노이즈 제거 기반 DefenseGAN, 변동형 오토인코더(VAE), 및 웨이브폼 복원을 위한 WaveGAN 볼륨라이저.
• 공격자가 방어 전략을 모를 때의 블랙박스 조건과 공격자가 방어 모델을 고려해 공격을 적응시키는 화이트박스 조건에서 방어 전략을 평가하는 것.
• 하이브리드 방어 전략을 적용: 무작위 스무딩을 VAE나 WaveGAN에 입력하기 전에 적용하여 적응형 공격에 대한 강건성을 향상시키는 것.
• 적대적 예시에서의 분류 정확도를 측정하여 방어 전략의 효과를 평가하며, 청각적으로 구분 가능한(L≥0.01) 및 구분이 어려운 편향에 초점을 맞추는 것.
• 자연어 음성이 저차원 다양체에 존재한다고 가정하고, 생성 모델(VAE, WaveGAN, DefenseGAN)을 사용해 적대적 예시를 정상 음성의 다양체로 복원하는 것.

실험 결과

연구 질문

• RQ1 최신 음성 식별 시스템은 FGSM, BIM, 및 CW와 같은 적대적 공격에 얼마나 취약한가?
• RQ2 무작위 스무딩, DefenseGAN, VAE, WaveGAN를 포함한 사전 처리 방어 전략은 적대적 공격 조건에서 분류 정확도 복원에 얼마나 효과적인가?
• RQ3 이러한 방어 전략에 대해 블랙박스와 화이트박스 공격 조건 간의 성능 격차는 어떠한가?
• RQ4 무작위 스무딩과 생성 모델(VAE 또는 WaveGAN)을 조합하면 적응형 화이트박스 공격에 대한 강건성을 향상시킬 수 있는가?
• RQ5 편향의 크기(L≥0.01)가 화이트박스 조건에서 방어된 시스템의 정확도에 어떤 영향을 미치는가?

주요 결과

• SID 시스템은 반복적 FGSM 및 CW 공격에 매우 취약하여, 화이트박스 조건에서 분류 정확도가 크게 떨어진다.
• 무작위 스무딩 방어 전략은 청각적으로 구분되지 않는 BIM 및 CW 공격 조건에서 약 97%의 정확도로 분류 정확도를 복원하여, 비적응형 공격에 대해 강력한 강건성을 보였다.
• 블랙박스 조건에서는 WaveGAN 기반 방어 전략이 97% 이상의 정확도를 달성했으며, 정상 조건 성능과 매우 유사했다.
• 화이트박스 공격 조건에서는 VAE 및 WaveGAN 방어 전략이 CW 공격에서 각각 50% 및 37%의 정확도로 저하되어, 적응형 공격자에 매우 취약한 것으로 나타났다.
• 무작위 스무딩 이후 WaveGAN 볼륨라이저를 적용한 하이브리드 방어 전략은 블랙박스 조건에서 평균 93%의 정확도를 달성했고, 청각적으로 구분 가능한 편향(L≥0.01)이 존재하는 화이트박스 반복적 공격 조건에서도 정확도 저하가 최소화되어 높은 강건성을 유지했다.
• 스무딩과 WaveGAN의 조합이 가장 효과적인 전반적 방어 전략이었으며, 두 공격 조건 모두에서 강력한 저항력을 보였고, 눈에 띄는 노이즈가 존재하는 상황에서도 높은 성능을 유지했다.