[논문 리뷰] Universal Adversarial Perturbations Generative Network for Speaker Recognition

Jiguo Li, Xinfeng Zhang외 6명|arXiv (Cornell University)|2020. 04. 07.

Adversarial Robustness in Machine Learning참고 문헌 20인용 수 5

한 줄 요약

이 논문은 저차원 노이즈를 유니버설 적대적 편향(UAPs)으로 매핑하는 생성적 적대망(GAN)을 제안하며, 다양한 입력에 대해 효율적이고 높은 성공률을 보이는 공격을 가능하게 한다. TIMIT에서 49.87 dB SNR 및 3.00 PESQ로 97.0%의 화자 오류율(SER)을 달성하여 최신 모델을 효과적이고 인지하기 어려운 방식으로 위조하는 데 성공한다.

ABSTRACT

Attacking deep learning based biometric systems has drawn more and more attention with the wide deployment of fingerprint/face/speaker recognition systems, given the fact that the neural networks are vulnerable to the adversarial examples, which have been intentionally perturbed to remain almost imperceptible for human. In this paper, we demonstrated the existence of the universal adversarial perturbations~(UAPs) for the speaker recognition systems. We proposed a generative network to learn the mapping from the low-dimensional normal distribution to the UAPs subspace, then synthesize the UAPs to perturbe any input signals to spoof the well-trained speaker recognition model with high probability. Experimental results on TIMIT and LibriSpeech datasets demonstrate the effectiveness of our model.

연구 동기 및 목표

• 딥 러닝 기반 화자 인식 시스템에서 유니버설 적대적 편향(UAPs)의 존재를 탐구하는 것.
• 저차원 노이즈에서 UAPs를 효율적으로 합성하는 생성 모델을 개발하여 빠르고 확장 가능한 공격를 가능하게 하는 것.
• 대규모 데이터셋에서 비대상 및 대상 공격 설정 모두에서 생성된 UAPs의 효과성을 평가하는 것.
• 모델이 무작위 노이즈가 아니라 의미 있는, 이식 가능한 유니버설 패턴을 학습하는지 확인하는 것.

제안 방법

• 저차원 정규분포에서 유니버설 적대적 편향(UAPs)의 부분공간으로 매핑하는 생성 네트워크를 훈련한다.
• 생성자 모델은 특정 입력 내용에 관계없이 다양한 입력 음성에 효과적인 UAPs를 생성하도록 학습한다.
• 모델은 잠재공간 샘플링 전략을 사용하며, 𝒩(0,1)에서 추출한 노이즈 벡터가 깊은 신경망을 통해 UAPs로 변환된다.
• 공격는 생성된 UAPs를 어떤 입력 음성 신호에도 추가함으로써 수행되며, 화자나 내용에 관계없이 적용 가능하다.
• 기존의 반복 최적화 방법과 달리, 단일 훈련 단계 이후에 효율적인 UAP 생성이 가능하다.
• 노이즈 보간을 통해 모델이 잠재공간을 연속적으로 UAP 부분공간으로 매핑함을 검증한다.

Fig. 1 : The framework for our proposed universal adversarial perturbations generative network for speaker recognition.

실험 결과

연구 질문

• RQ1 유니버설 적대적 편향(UAPs)을 효과적으로 생성하고 화자 인식 모델에 적용할 수 있는가?
• RQ2 생성 모델이 다양한 음성 입력에 일반화되는 저차원 노이즈에서 UAPs로 매핑하는 데 성공할 수 있는가?
• RQ3 공격 성공률 및 음성 품질 측면에서 생성된 UAPs가 무작위 편향보다 어떻게 비교되는가?
• RQ4 모델이 UAP 공간에서 무작위 노이즈가 아니라 이식 가능한 의미 있는 패턴을 학습하는가?
• RQ5 UAP 길이와 잠재공간 내 보간이 공격 성능 및 청취 품질에 어떻게 영향을 미치는가?

주요 결과

• 제안된 생성 모델은 TIMIT 데이터셋에서 비대상 공격 시 49.87 dB SNR 및 3.00 PESQ로 97.0%의 화자 오류율(SER)을 달성하였다.
• 대상 공격에서는 TIMIT에서 평균 97.2%의 대상 편향 비율(PTR)과 LibriSpeech에서 64.1%의 PTR을 기록하였으며, 높은 청취 품질(PESQ ≈ 2.48 및 2.11)을 확보하였다.
• 생성된 UAPs는 SER 및 청취 품질(PESQ) 측면에서 모두 무작위 편향보다 뛰어나며, 특히 높은 PESQ 수준에서 두드러진 성능을 보였다.
• 제거 실험을 통해 모델이 일관된 성능을 보이며 의미 있는 이식 가능한 유니버설 패턴을 학습하고 있음을 확인하였다.
• 더 높은 SNR 수준에서 짧은 UAPs(200ms)가 긴 UAPs(600ms)보다 더 우수한 성능을 보였으며, 최적화 과정에서 UAP 길이에 민감함을 시사하였다.
• 잠재공간 내 노이즈 보간을 통해 일관된 UAPs가 생성되었으며, 안정된 SER, SNR 및 PESQ를 확보하여 UAP 부분공간으로의 연속적 매핑을 확인하였다.

Fig. 2 : The influence of the UAPs’ length.