[논문 리뷰] Defense for Black-box Attacks on Anti-spoofing Models by Self-Supervised Learning

Haibin Wu, Andy T. Liu외 1명|arXiv (Cornell University)|2020. 06. 05.

Speech Recognition and Synthesis참고 문헌 36인용 수 10

한 줄 요약

이 논문은 사전에 훈련된 음성 모델인 Mockingjay의 자기지도 학습 표현을 활용하여 블랙박스 적대적 공격에 대한 피로성 방어 기법을 제안한다. 이 방법은 잡음 대 신호 비율을 감소시켜 강건한 고수준 특징을 추출함으로써 적대적 전이성을 효과적으로 저해하며, ASVspoof 2019 벤치마크에서 수작업 필터와 무작위 모델보다 뛰어난 성능을 보였다.

ABSTRACT

High-performance anti-spoofing models for automatic speaker verification (ASV), have been widely used to protect ASV by identifying and filtering spoofing audio that is deliberately generated by text-to-speech, voice conversion, audio replay, etc. However, it has been shown that high-performance anti-spoofing models are vulnerable to adversarial attacks. Adversarial attacks, that are indistinguishable from original data but result in the incorrect predictions, are dangerous for anti-spoofing models and not in dispute we should detect them at any cost. To explore this issue, we proposed to employ Mockingjay, a self-supervised learning based model, to protect anti-spoofing models against adversarial attacks in the black-box scenario. Self-supervised learning models are effective in improving downstream task performance like phone classification or ASR. However, their effect in defense for adversarial attacks has not been explored yet. In this work, we explore the robustness of self-supervised learned high-level representations by using them in the defense against adversarial attacks. A layerwise noise to signal ratio (LNSR) is proposed to quantize and measure the effectiveness of deep models in countering adversarial noise. Experimental results on the ASVspoof 2019 dataset demonstrate that high-level representations extracted by Mockingjay can prevent the transferability of adversarial examples, and successfully counter black-box attacks.

연구 동기 및 목표

• 자동 화자 확인(ASV)에서 고성능 방지 모델이 블랙박스 적대적 공격에 취약한 문제를 해결하기 위해.
• 자기지도 학습 표현이 적대적 재훈련이 필요 없이 강건한 방어 수단으로 기능할 수 있는지 조사하기 위해.
• 다양한 공격 시나리오에서 사전에 훈련된 자기지도 학습 모델이 적대적 노이즈를 어떻게 완화하는지 평가하기 위해.
• 새로운 계층별 잡음 대 신호 비율(LNSR) 지표를 사용하여 깊은 표현의 노이즈 감소 능력을 정량화하기 위해.

제안 방법

• LibriSpeech 데이터셋으로 사전 훈련된 자기지도 학습 음성 표현 모델인 Mockingjay를 활용해 적대적 입력에서 고수준 특징을 추출한다.
• 기존의 방지 모델(LCNN 및 SENet)과 연결하여 사전 훈련된 Mockingjay를 피동적 방어 수단으로 적용한다.
• 블랙박스 환경에서 적대적 예제를 생성하기 위해 FGSM 및 PGD 공격 알고리즘을 사용하며, $\varepsilon$ 값은 0.1에서 16까지 다양하게 설정한다.
• 모델의 각 계층에서 적대적 편향의 감소 정도를 측정하기 위해 계층별 잡음 대 신호 비율(LNSR)을 도입한다.
• 수작업 필터(중위수, 평균, 가우시안) 및 무작위 가중치를 가진 Mockingjay 변종과 방어 성능을 비교한다.
• 모델 아키텍처나 크기의 기여도를 분리하기 위해 캐스케이드 모델을 처음부터 훈련시킨다.

실험 결과

연구 질문

• RQ1 Mockingjay와 같은 사전 훈련된 모델의 자기지도 학습 표현이 블랙박스 적대적 공격에 대한 방지 모델을 방어하는 데 효과적인가?
• RQ2 무작위 초기화와 비교했을 때 자기지도 학습 모델의 사전 훈련이 적대적 노이즈 억제 능력에 어떤 영향을 미치는가?
• RQ3 계층별 잡음 대 신호 비율(LNSR)로 측정했을 때, 자기지도 학습 특징이 얼마나 적대적 노이즈를 감소시키는가?
• RQ4 고강도 적대적 편향($\epsilon \geq 8$)에 저항할 때 기존 수작업 필터와 비교해 제안된 방어 기법은 어떤가?
• RQ5 공격 모델과 타겟 모델의 아키텍처가 다를 경우에도 방어 메커니즘이 여전히 효과적인가?

주요 결과

• ASVspoof 2019 데이터셋에서 모든 공격 설정과 $\varepsilon$ 값에서 제안된 Mockingjay 기반 방어(빨간 선)는 수작업 필터와 무작위 가중치 모델을 포함한 모든 다른 방법보다 일관되게 뛰어난 성능을 보였다.
• 사전 훈련된 Mockingjay는 특히 깊은 계층에서 계층별 잡음 대 신호 비율(LNSR)을 크게 감소시켜 적대적 노이즈 억제가 효과적임을 나타냈다.
• 무작위 가중치 Mockingjay 변종은 방어 능력이 제한적이며, 높은 $\varepsilon$ 값에서 실패함으로써 사전 훈련이 강건성에 필수적임을 입증했다.
• 캐스케이드 모델을 처음부터 훈련시한 결과 근처 무작위 성능를 보였으며, 이는 방어 성공의 핵심 요인이 사전 훈련임을 확인했다. 모델 크기나 아키텍처는 아님을 의미한다.
• 방어 메커니즘은 적대적 전이성을 효과적으로 방지하며, 공격 강도에 관계없이 높은 방지 정확도를 유지했다.
• LNSR 지표는 네트워크를 통과할수록 적대적 노이즈가 점진적으로 감소하는 것을 효과적으로 정량화했으며, 모델의 필터링 행동을 검증했다.