[논문 리뷰] The defender's perspective on automatic speaker verification: An overview

Haibin Wu, Jiawen Kang외 3명|arXiv (Cornell University)|2023. 05. 22.

Network Security and Intrusion Detection인용 수 7

한 줄 요약

이 논문은 자동 화자 확인(ASV) 분야에서 적대적 공격 및 부분적으로 위조된 음성에 대비한 방어 기법에 대한 종합적인 리뷰를 제공하며, 자기지도 학습(SSL) 모델, 전이 경계 검출, 점수 기반 이상 탐지 등을 강조한다. 최신 기법으로는 위조 음성 탐지에 대해 미세조정된 XLS-R와 적대적 샘플 식별을 위한 재합성 기반 기법을 포함하며, ADD 2022와 같은 도전 과제에서 최고 성능을 기록했다.

ABSTRACT

Automatic speaker verification (ASV) plays a critical role in security-sensitive environments. Regrettably, the reliability of ASV has been undermined by the emergence of spoofing attacks, such as replay and synthetic speech, as well as adversarial attacks and the relatively new partially fake speech. While there are several review papers that cover replay and synthetic speech, and adversarial attacks, there is a notable gap in a comprehensive review that addresses defense against adversarial attacks and the recently emerged partially fake speech. Thus, the aim of this paper is to provide a thorough and systematic overview of the defense methods used against these types of attacks.

연구 동기 및 목표

• 자동 화자 확인(ASV) 분야에서 적대적 공격 및 부분적으로 위조된 음성에 대비한 종합적인 리뷰가 부족한 데 대비하여 이를 해결하고자 한다.
• 적대적 공격과 부분적으로 위조된 음성이라는 두 가지 새로운 위협에 대비한 기존 방어 전략을 체계화하고 비교하고자 한다.
• 데이터 수집, 모델 효율성, 재합성 기반 탐지 등에서 핵심 연구 격차와 향후 방향성을 규명하여 더 높은 견고성 향상을 도모하고자 한다.
• 실세계 과제인 ADD 2022에서의 성능을 포함해 최첨단 기법과 그 성능를 요약함으로써 향후 연구를 자극하고자 한다.

제안 방법

• 자기지도 학습(SSL) 모델인 XLS-R를 특징 추출기로 활용하고, 부분적으로 위조된 음성 데이터로 미세조정하여 탐지 정확도를 향상시킨다.
• 추출 기반 질의-응답 프레임워크를 적용하여 부분적으로 위조된 음성에서 진짜와 위조된 음성 세그먼트 간의 전이 경계를 탐지한다.
• 미세조정된 SSL 모델을 사용한 세그먼트 수준 분류를 통해 진짜와 합성 음성 세그먼트를 구분한다.
• 원본과 재합성된 발화 간의 점수 일관성 없는 특성을 적대적 샘플 탐지 신호로 활용한다.
• 원래는 취약한(프리미엄), 다른 한편은 견고한(미러)인 두 개의 ASV 모델을 사용하여 예측 불일치를 통해 적대적 샘플을 탐지한다.
• 수작업으로 만든 및 학습 가능한 마스크(예: MLFB-H, MLFB-D)를 적용하여 마스킹 전후의 ASV 점수 차이를 강조함으로써 적대적 변형을 식별한다.

Figure 1: The partially fake audio generation process. A small clip is selected from the user’s utterance, the content is recognized using Automatic Speech Recognition (ASR), and the recognized content is modified to manipulate the meaning of the entire speech. The fake clip is then generated using

실험 결과

연구 질문

• RQ1 자기지도 학습을 활용하여 부분적으로 위조된 음성에서 진짜와 위조 세그먼트 간의 전이 경계를 효과적으로 탐지하는 방법은 무엇인가?
• RQ2 전통적인 음성 특징에 비해 자기지도 학습 모델이 부분적으로 위조된 음성 탐지에 기여하는 역할은 무엇인가?
• RQ3 원본과 재합성된 음성 간의 점수 일관성 없는 특성을 어떻게 활용하여 적대적 ASV 샘플을 탐지할 수 있는가?
• RQ4 이중 ASV 모델 또는 특징 마스킹을 통해 적대적 샘플을 식별하는 데 가장 효과적인 방법은 무엇인가?
• RQ5 ASV 방어의 견고성과 효율성을 향상시키기 위해 향후 연구에서 필수적인 방향성은 무엇인가?

주요 결과

• 20억 파라미터의 XLS-R 모델을 경량 헤드로 미세조정하여 ADD 2022 도전 과제에서 1등을 달성했으며, 이는 부분적으로 위조된 음성 탐지에 있어 SSL 기반 특징의 효과성을 입증했다.
• 질의-응답 스타일 모델을 활용한 전이 경계 검출이 실제 음성에 숨겨진 미세한 위조 삽입을 식별하는 데 있어 세그먼트 수준 분류보다 뛰어난 성능을 보였다.
• 재합성 기반 탐지 방법은 원본과 재합성된 발화 간의 큰 점수 차이를 활용하여 적대적 샘플에 대해 최첨단 성능을 달성했다.
• 한쪽은 취약하고 다른 한쪽은 견고한 이중 ASV 모델을 사용함으로써 예측 불일치를 통해 적대적 샘플을 효과적으로 탐지할 수 있었다.
• 수작업 및 학습 가능한 마스크(예: MLFB-H, MLFB-D)는 적대적 샘플의 ASV 점수 차이를 효과적으로 증폭시켜 고정밀도 탐지가 가능하게 했다.
• 모델 압축, 선형 프로빙, 어댑터, 프롬프트 튜닝 기법은 SSL 기반 탐지 시스템의 학습 비용과 모델 크기를 줄이는 데 유망한 기법으로 나타났다.

Figure 2: A tiny adversarial noise is added to the original wave to get the adversarial one to fool the ASV falsely accept.