[논문 리뷰] Adversarial Defense for Automatic Speaker Verification by Self-Supervised Learning

Haibin Wu, Xu Li외 4명|arXiv (Cornell University)|2021. 06. 01.

Adversarial Robustness in Machine Learning참고 문헌 58인용 수 4

한 줄 요약

이 논문은 악성 공격 방법에 대한 사전 지식이 없는 자율적 음성 인식(ASV)을 위한 자기지도 학습(SSL) 기반 방어 기법을 제안한다. 악성 편향을 노이즈로 간주하여, SSL 모델을 활용해 편향 정제 및 탐지 기능을 수행하며, 공격 샘플 탐지 정확도 약 80%를 달성하고, ASV 악성 공격 방어를 위한 공식적인 평가 프레임워크를 제안한다.

ABSTRACT

Previous works have shown that automatic speaker verification (ASV) is seriously vulnerable to malicious spoofing attacks, such as replay, synthetic speech, and recently emerged adversarial attacks. Great efforts have been dedicated to defending ASV against replay and synthetic speech; however, only a few approaches have been explored to deal with adversarial attacks. All the existing approaches to tackle adversarial attacks for ASV require the knowledge for adversarial samples generation, but it is impractical for defenders to know the exact attack algorithms that are applied by the in-the-wild attackers. This work is among the first to perform adversarial defense for ASV without knowing the specific attack algorithms. Inspired by self-supervised learning models (SSLMs) that possess the merits of alleviating the superficial noise in the inputs and reconstructing clean samples from the interrupted ones, this work regards adversarial perturbations as one kind of noise and conducts adversarial defense for ASV by SSLMs. Specifically, we propose to perform adversarial defense from two perspectives: 1) adversarial perturbation purification and 2) adversarial perturbation detection. Experimental results show that our detection module effectively shields the ASV by detecting adversarial samples with an accuracy of around 80%. Moreover, since there is no common metric for evaluating the adversarial defense performance for ASV, this work also formalizes evaluation metrics for adversarial defense considering both purification and detection based approaches into account. We sincerely encourage future works to benchmark their approaches based on the proposed evaluation framework.

연구 동기 및 목표

• 재생 및 합성 음성 공격에 비해 아직 탐색이 부족한 자율적 음성 인식(ASV)의 악성 공격에 대한 근본적인 취약성을 해결한다.
• 기존 방어 기법이 공격 알고리즘에 대한 사전 지식이 필요하므로 실세계 상황에서는 비현실적이라는 한계를 극복한다.
• 자기지도 학습 모델(SSLM)의 노이즈 내성 특성을 활용해 알려지지 않은 또는 실제 환경에서 발생하는 악성 공격에 대응할 수 있는 ASV 방어 기법을 개발한다.
• 정제 및 탐지 기반 접근 방식을 모두 고려한 평가 지표를 정의하여, 표준화된 벤치마킹을 가능하게 한다.

제안 방법

• 악성 편향을 입력 노이즈의 일종으로 간주하고, 자기지도 학습 모델(SSLM)의 내재된 노이즈 제거 능력을 활용해 악성 편향 정제를 수행한다.
• SSLM을 통해 원본 및 재구성된 특징 간의 이질성을 분석함으로써 악성 샘플을 식별하는 탐지 모듈을 설계한다.
• 전이 학습된 SSLM(예: Wav2Vec 2.0 또는 유사 모델)을 활용해 악성 편향에 덜 민감한 강건한 표현을 추출한다.
• SSLM 특징을 기반으로 분류기를 학습시켜 정상 및 악성 입력을 구분함으로써 악성 샘플의 실시간 탐지 기능을 구현한다.
• 정제 및 탐지 모듈을 통합하여 단일 방어 파이프라인으로 구성함으로써 ASV의 강건성을 향상시킨다.
• 정제 및 탐지 성능을 모두 고려한 공식적인 평가 프레임워크를 제안하며, 탐지 정확도 및 공격 하에서의 인식 정확도 등의 지표 포함.

실험 결과

연구 질문

• RQ1 악성 공격 방법에 대한 사전 지식 없이도 자기지도 학습 모델이 ASV 입력에서 악성 편향을 효과적으로 정제할 수 있는가?
• RQ2 SSLM을 활용한 탐지 기반 방어 기법이 ASV 시스템에서 악성 샘플을 얼마나 효과적으로 식별할 수 있는가?
• RQ3 정제 및 탐지 기능을 모두 고려할 때, ASV의 악성 공격 방어를 평가하기 위해 가장 적절한 평가 지표는 무엇인가?
• RQ4 공격에 특화된 지식이 없는 방어 기법이 다양한 악성 공격에 대해 여전히 높은 강건성을 확보할 수 있는가?

주요 결과

• 제안된 탐지 모듈은 공격 알고리즘을 알지 못해도 악성 샘플을 약 80%의 정확도로 식별함으로써 뛰어난 성능을 입증한다.
• SSLM 기반 정제 기법은 자기지도 학습 표현의 노이즈 내성 특성을 활용해 악성 편향의 영향을 효과적으로 감소시킨다.
• 정제 및 탐지 기능을 통합함으로써 악성 조건 하에서도 더 강건한 ASV 시스템을 확보할 수 있다.
• 논문은 기존 연구에서 표준화된 지표가 부족했던 ASV의 악성 공격 방어를 위한 종합적인 평가 프레임워크를 정의하였다.
• 실험 결과는 공격 방법이 알려지지 않은 상황에서도 방어 기법이 효과적임을 확인하였으며, 실용적 적용 가능성을 시사한다.
• 제안된 평가 프레임워크는 향후 ASV 분야의 악성 공격 방어 기법에 대한 공정하고 일관된 벤치마킹을 가능하게 할 것으로 기대된다.