[논문 리뷰] Adversarial Attacks on Spoofing Countermeasures of automatic speaker verification

Songxiang Liu, Haibin Wu외 2명|arXiv (Cornell University)|2019. 10. 19.

Speech Recognition and Synthesis참고 문헌 31인용 수 16

한 줄 요약

이 논문은 자동 화자 인증(ASV)에서 고성능 스푸핑 방지 기법이 FGSM 및 PGD 방법을 사용한 적대적 공격에 얼마나 취약한지 조사한다. 백색 상자 및 검은 상자 공격이 모두 모델 성능을 떨어뜨리는 데 성공했으며, 특히 PGD가 더 효과적임을 입증함으로써 최첨단 방지 기법이라도 적대적 예제에 취약함을 시사한다.

ABSTRACT

High-performance spoofing countermeasure systems for automatic speaker verification (ASV) have been proposed in the ASVspoof 2019 challenge. However, the robustness of such systems under adversarial attacks has not been studied yet. In this paper, we investigate the vulnerability of spoofing countermeasures for ASV under both white-box and black-box adversarial attacks with the fast gradient sign method (FGSM) and the projected gradient descent (PGD) method. We implement high-performing countermeasure models in the ASVspoof 2019 challenge and conduct adversarial attacks on them. We compare performance of black-box attacks across spoofing countermeasure models with different network architectures and different amount of model parameters. The experimental results show that all implemented countermeasure models are vulnerable to FGSM and PGD attacks under the scenario of white-box attack. The more dangerous black-box attacks also prove to be effective by the experimental results.

연구 동기 및 목표

• 최신 스푸핑 방지 기법의 ASV에 대한 강건성을 평가하기 위해.
• 스푸핑 검출 모델에 대한 백색 상자 및 검은 상자 적대적 공격 시나리오의 효과성을 평가하기 위해.
• 다양한 아키텍처와 파라미터 수를 가진 모델 간의 공격 성능를 비교하기 위해.
• 한 모델에서 생성한 적대적 예제가 다른 모델, 특히 검은 상자 환경에서 성공적으로 공격할 수 있는지 조사하기 위해.
• 재현 가능성과 향후 ASV 시스템의 적대적 강건성 연구를 위해 오픈소스 코드를 제공하기 위해.

제안 방법

• ASVspoof 2019 챌린지에서의 세 가지 고성능 스푸핑 방지 모델(LCNN-big, LCNN-small, SENet12)을 구현하였다.
• 다양한 변형 크기(ε)를 가진 FGSM 및 PGD 방법을 사용하여 백색 상자 적대적 공격를 적용하여 적대적 오디오 샘플을 생성하였다.
• 대상 모델의 입력-출력 행동을 기반으로 서브stitue 모델을 훈련시켜 검은 상자 공격를 수행하고, 이를 통해 적대적 예제를 생성하였다.
• 공격 성공도 평가를 위해 EER(Equal Error Rate)를 주요 지표로 사용하였으며, 운영 지점은 원래 평가 세트의 EER로 설정하였다.
• 스펙트로그램을 생성하고 주관적 XAB 청취 테스트를 수행하여 적대적 변형이 원본 오디오와 청각적으로 구별되지 않음을 검증하였다.
• 다양한 모델 아키텍처와 파라미터 규모 간의 공격 효율성을 비교하고, 적대적 예제의 이동성 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 ASV에서 고성능 스푸핑 방지 기법은 백색 상자 조건에서 적대적 공격에 취약한가?
• RQ2 입력-출력 액세스만 가능할 때 검은 상자 적대적 공격가 스푸핑 방지 기법 모델을 성공적으로 속일 수 있는가?
• RQ3 모델 아키텍처와 파라미터 수가 검은 상자 공격에서 적대적 예제의 이동성과 효과성에 어떤 영향을 미치는가?
• RQ4 더 큰 모델(LCNN-big 등)에서 생성한 적대적 예제가 더 작은 모델(LCNN-small, SENet12 등)으로의 공격에 더 효과적으로 이동하는가?
• RQ5 적대적 변형이 원본 오디오와 청각적으로 구별되지 않아 공격의 은밀성을 유지하는가?

주요 결과

• 구현된 세 가지 스푸핑 방지 기법 모델(LCNN-big, LCNN-small, SENet12)은 모두 백색 상자 FGSM 및 PGD 설정에서 성공적으로 공격받았으며, ε = 5일 때 EER이 50%에 도달하거나 이를 초과하였다.
• PGD 공격는 FGSM 공격보다 항상 뛰어난 성능을 보였으며, ε = 5일 때 LCNN-big에서 EER이 85% 이상을 기록하여 탐지 능력이 완전히 붕괴됨을 시사하였다.
• 검은 상자 공격는 매우 효과적이었으며, LCNN-big에서 생성한 적대적 예제가 LCNN-small 및 SENet12 모델 모두를 성공적으로 공격하여 높은 EER을 기록하였다.
• 더 큰 모델(LCNN-big)에서 생성한 적대적 예제가 더 작은 모델(LCNN-small, SENet12)보다 더 이동성 있고 효과적이었으며, 특히 더 큰 타겟 모델을 공격할 경우 두드러졌다.
• 공격 원천과 타겟 모델이 유사한 아키텍처를 공유할 경우 공격 성공률이 더 높았으며, 이는 LCNN-big에서 생성한 예제로 LCNN-small를 공격할 때 RESNet12를 공격할 때보다 더 높은 EER을 기록한 것으로 나타났다.
• 주관적 XAB 청취 테스트 결과, 적대적 변형이 원본 오디오와 청각적으로 구별되지 않음을 확인하여 공격의 은밀성을 검증하였다.