[논문 리뷰] Towards Understanding and Mitigating Audio Adversarial Examples for Speaker Recognition

Guangke Chen, Zhe Zhao외 5명|arXiv (Cornell University)|2022. 06. 07.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 22종류의 다양한 입력 변환을 평가하고 적대적 훈련과 조합함으로써 음성 인식 시스템에 대한 적대적 오디오 공격에 대비한 종합적인 방어 프레임워크를 제안한다. 특징 수준의 변환(FeCo)을 신규로 도입하였으며, 적대적 훈련과 조합할 경우 완전한 화이트박스 공격 하에서 정확도를 13.62% 향상시키고 공격 비용을 두 배수 증가시켜 단독 방어 기법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Speaker recognition systems (SRSs) have recently been shown to be vulnerable to adversarial attacks, raising significant security concerns. In this work, we systematically investigate transformation and adversarial training based defenses for securing SRSs. According to the characteristic of SRSs, we present 22 diverse transformations and thoroughly evaluate them using 7 recent promising adversarial attacks (4 white-box and 3 black-box) on speaker recognition. With careful regard for best practices in defense evaluations, we analyze the strength of transformations to withstand adaptive attacks. We also evaluate and understand their effectiveness against adaptive attacks when combined with adversarial training. Our study provides lots of useful insights and findings, many of them are new or inconsistent with the conclusions in the image and speech recognition domains, e.g., variable and constant bit rate speech compressions have different performance, and some non-differentiable transformations remain effective against current promising evasion techniques which often work well in the image domain. We demonstrate that the proposed novel feature-level transformation combined with adversarial training is rather effective compared to the sole adversarial training in a complete white-box setting, e.g., increasing the accuracy by 13.62% and attack cost by two orders of magnitude, while other transformations do not necessarily improve the overall defense capability. This work sheds further light on the research directions in this field. We also release our evaluation platform SPEAKERGUARD to foster further research.

연구 동기 및 목표

• 음성 인식에서 비적대적 및 적대적 공격에 대해 다양한 입력 변환과 적대적 훈련의 효과를 체계적으로 평가하는 것.
• BPDA, EOT, NES와 같은 회피 기법을 사용하는 적대적 공격 상황에서도 효과를 유지하는 변환을 규명하는 것.
• 입력 변환과 적대적 훈련을 조합할 경우, 각각을 별도로 사용할 때보다 강건성이 향상되는지 조사하는 것.
• 음성 인식 분야의 방어 기법에 대한 재현 가능하고 공정한 벤치마킹을 지원하기 위해 SPEAKERGUARD를 개방형 평가 플랫폼으로 제공하는 것.

제안 방법

• 저자는 시간 도메인 및 주파수 도메인 연산, 음성 압축(예: MP3, AAC) 및 새로운 특징 수준의 압축 기법을 포함한 총 22종의 다양한 오디오 변환 기법을 설계하고 구현하였다.
• 일致한 실험 설정 하에서 최근 7종의 적대적 공격(백색박스 공격 4종, 예: PGD 기반 공격; 블랙박스 공격 3종, 예: FAKEBOB, SirenAttack)에 대해 이러한 방어 기법을 평가하였다.
• 비미분 가능하거나 랜덤화된 방어 기법을 우회하기 위해 역전파 가능한 근사(Backward Pass Differentiable Approximation, BPDA), 변환에 대한 기대값(Expectation over Transformation, EOT), 자연 진화 전략(Natural Evolution Strategy, NES) 등의 공격 회피 기법을 사용하여 적대적 공격을 구성하였다.
• 특징 수준의 새로운 변환 기법인 FeCo를 제안하였으며, PGD 기반의 적대적 훈련과 조합하여 강건성을 향상시켰다.
• 다양한 공격 및 방어 설정에서의 방어 기법 평가를 가능하게 하기 위해 평가 프레임워크인 SPEAKERGUARD를 개방하였다.
• 강건성은 정상 예제 및 적대적 예제에서의 정확도, 공격 비용(편향 크기), 왜곡 수준을 통해 측정되었다.

실험 결과

연구 질문

• RQ1 특히 적대적 공격 상황에서 효과적인 입력 변환은 무엇이며, 적대적 공격 상황에서의 효과는 어떠한가?
• RQ2 입력 변환과 적대적 훈련을 조합할 경우, 각각을 별도로 사용할 때보다 강건성에 어떤 영향을 미치는가?
• RQ3 비미분 가능하거나 랜덤화된 변환 기법은 BPDA 및 EOT와 같은 기울기 추정 기법을 사용하는 적대적 공격에 대해 여전히 효과적인가?
• RQ4 변환 비트레이트(Variable-bit-rate)와 일정 비트레이트(Constant-bit-rate) 오디오 압축 기법은 화이트박스 및 블랙박스 환경에서 방어 효과성 측면에서 어떻게 비교되는가?
• RQ5 새로운 특징 수준의 변환 기법이 적대적 훈련된 음성 인식 모델의 강건성에 크게 기여할 수 있는가?

주요 결과

• 제안된 특징 수준의 변환 기법 FeCo는 적대적 훈련과 조합할 경우 완전한 화이트박스 공격 하에서 정상 정확도를 13.62% 향상시키고 공격 비용을 두 배수 증가시킨다.
• 변환 비트레이트 방식의 MP3 및 AAC는 일정 비트레이트 대비 블랙박스 공격에 더 강건한 반면, 화이트박스 환경에서는 반대의 경향을 보인다.
• MP3 및 AAC와 같은 비미분 가능 오디오 압축 기법은 BPDA 기반의 적대적 공격에 대해 효과적이며, 이는 영상 인식 분야에서 이러한 방어 기법이 일반적으로 실패한다는 기존 연구와는 상반된 결과이다.
• 시간/주파수 도메인 이동, 기본 압축 기법 등 대부분의 표준 변환 기법은 EOT 및 NES와 같은 적대적 기법을 사용할 경우 효과를 잃는다.
• 랜덤화된 변환 기법은 블랙박스 적대적 공격에 대해 강력한 저항성을 보이며, 실질적 방어 환경에서의 유용성을 시사한다.
• 입력 변환과 적대적 훈련을 조합한다고 해서 항상 강건성이 향상되지는 않는다. FeCo와 적대적 훈련의 조합처럼 특정 조합만이 뚜렷한 성능 향상을 이룬다.