[논문 리뷰] Adversarial Attacks and Defenses for Speech Recognition Systems

Piotr Żelasko, Sonal Joshi외 5명|arXiv (Cornell University)|2021. 03. 31.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 10

한 줄 요약

이 논문은 공격자에 의한 서비스 거부 및 표적 공격 위협 모델 하에서 FGSM, PGD 및 인식할 수 없는 공격을 사용하여 두 가지 별개의 음성 인식 시스템—DeepSpeech 및 Espresso—의 적대적 공격에 대한 강건성을 평가한다. WaveGAN 기반 보정기 전처리가 강건성을 크게 향상시켜 표적 공격 성공률를 감소시키고, 기준 텍스트 전사의 최대 84.2%를 복구함을 보여주며, 랜덤 스무딩은 단독 방어 수 Mittel로는 제한된 효과를 보임을 확인한다.

ABSTRACT

The ubiquitous presence of machine learning systems in our lives necessitates research into their vulnerabilities and appropriate countermeasures. In particular, we investigate the effectiveness of adversarial attacks and defenses against automatic speech recognition (ASR) systems. We select two ASR models - a thoroughly studied DeepSpeech model and a more recent Espresso framework Transformer encoder-decoder model. We investigate two threat models: a denial-of-service scenario where fast gradient-sign method (FGSM) or weak projected gradient descent (PGD) attacks are used to degrade the model's word error rate (WER); and a targeted scenario where a more potent imperceptible attack forces the system to recognize a specific phrase. We find that the attack transferability across the investigated ASR systems is limited. To defend the model, we use two preprocessing defenses: randomized smoothing and WaveGAN-based vocoder, and find that they significantly improve the model's adversarial robustness. We show that a WaveGAN vocoder can be a useful countermeasure to adversarial attacks on ASR systems - even when it is jointly attacked with the ASR, the target phrases' word error rate is high.

연구 동기 및 목표

• 현대 음성 인식 시스템—DeepSpeech 및 Espresso—가 현실적인 위협 모델 하에서 적대적 공격에 얼마나 취약한지 평가하기 위해.
• 다른 아키텍처와 학습 프레임워크를 가진 다양한 음성 인식 아키텍처 간에 적대적 공격의 전이성(transferability)을 조사하기 위해.
• 특히 랜덤 스무딩과 WaveGAN 보정기를 포함한 전처리 방어 기법이 화이트박스 및_BLK 박스 공격에 대해 얼마나 효과적인지 평가하기 위해.
• ASR와 보정기(WaveGAN)를 동시에 공격하는 통합 화이트박스 공격이 강건성 메커니즘을 우회할 수 있는지 확인하기 위해.

제안 방법

• 연구는 두 가지 음성 인식 모델을 사용한다: RNN 기반, CTC로 훈련된 DeepSpeech와, Transformer 기반, 인코더-디코더 아키텍처를 가진 Espresso.
• 두 가지 위협 모델이 적용된다: WER를 악화시키기 위한 FGSM 및 PGD를 사용한 서비스 거부 공격, 그리고 특정 문장을 인식하도록 유도하기 위한 인식할 수 없는 공격을 사용한 표적 공격.
• 세 가지 방어 기법이 평가된다: 추론 및 훈련 중에 적용된 랜덤 스무딩, 신호 재합성에 사용된 WaveGAN 보정기, 레이블 스무딩.
• WaveGAN 보정기는 입력 음성을 깨끗한 음성의 잠재 공간으로 재합성함으로써 적대적 편향을 왜곡시키는 전처리 방어 수 Mittel로 사용된다.
• 통합 화이트박스 공격은 공격자가 ASR 및 WaveGAN 모델에 모두 액세스할 수 있도록 훈련하여, 종단 간 공격 시나리오 하에서의 강건성 테스트를 시뮬레이션한다.
• 실험은 LibriSpeech 데이터셋을 기반으로 수행되며, 다양한 공격 유형과 최대 노름 편향 하에서 청소, 적대적, 방어 조건 하에서 WER를 측정한다.

실험 결과

연구 질문

• RQ1 서비스 거부 위협 모델 하에서 FGSM 및 PGD 공격가 DeepSpeech 및 Espresso의 단어 오류률(WER)를 얼마나 효과적으로 악화시키는가?
• RQ2 인식할 수 없는 표적 공격가 두 음성 인식 시스템 모두 특정 문장을 인식하도록 유도하는 데 얼마나 성공하는가? 이는 각 모델 간에 어떻게 다를까?
• RQ3 DeepSpeech와 Espresso 간에 적대적 예제가 한 모델에서 생성되고 다른 모델에서 테스트되었을 때 공격 전이성(transferability)이 유지되는가?
• RQ4 랜덤 스무딩 및 WaveGAN 보정기와 같은 전처리 방어 기법이 적대적 공격의 성공률를 감소시키는가? 이들의 효과성은 어떻게 비교되는가?
• RQ5 ASR 및 WaveGAN 보정기 양쪽에 동시에 적용되는 통합 화이트박스 공격이 시스템의 강건성에 어떤 영향을 미치며, 특히 표적 공격 시나리오에서 어떻게 나타나는가?

주요 결과

• WaveGAN 보정기 방어는 표적 공격에 의한 WER를 DeepSpeech에서 100%에서 48%로, Espresso에서는 37.4%로 감소시켜 인식할 수 없는 공격에 대한 강건성을 높임을 보여줌.
• 인식할 수 없는 공격의 경우 WaveGAN가 공격자가 의도한 문장을 인식하는 것을 방지했지만, 기준 텍스트의 WER는 여전히 높게 유지되었으며, DeepSpeech에서는 48%, Espresso에서는 37.4%였다.
• 랜덤 스무딩은 훈련 중에 적용했을 때 강건성을 향상시켰지만, 추론 시점에서는 제한된 이점을 제공했으며, 청소 데이터에서 성능 저하가 발생함.
• Espresso는 DeepSpeech보다 본질적으로 더 높은 강건성을 보였으며, 특히 최대 노름 편향이 낮을 경우에 더 큰 이점을 얻었고, WaveGAN 기반 방어에서 더 큰 효과를 보임.
• DeepSpeech와 Espresso 간의 공격 전이성은 제한적이었으며, FGSM 및 PGD 공격이 대상 모델에서 소스 모델보다 훨씬 열악한 성능을 보임.
• WaveGAN와 추론 시점의 랜덤 스무딩을 결합했을 때 강건성이 향상되지 않았고, 오히려 성능 저하가 발생함을 확인하여 방어 기법 간의 간섭이 발생함을 시사함.