[논문 리뷰] WaveFake: A Data Set to Facilitate Audio Deepfake Detection

J. Howard Frank, Lea Schönherr|arXiv (Cornell University)|2021. 11. 04.

Music and Audio Processing인용 수 45

한 줄 요약

WaveFake를 소개하는 내용으로, 두 언어에 걸친 여섯 가지 아키텍처의 샘플과 대규모 오디오 딥페이크 데이터셋, 기본 탐지기(GMM과 RawNet2) 및 탐지 방법 지도를 위한 귀속 분석을 제시한다.

ABSTRACT

Deep generative modeling has the potential to cause significant harm to society. Recognizing this threat, a magnitude of research into detecting so-called "Deepfakes" has emerged. This research most often focuses on the image domain, while studies exploring generated audio signals have, so-far, been neglected. In this paper we make three key contributions to narrow this gap. First, we provide researchers with an introduction to common signal processing techniques used for analyzing audio signals. Second, we present a novel data set, for which we collected nine sample sets from five different network architectures, spanning two languages. Finally, we supply practitioners with two baseline models, adopted from the signal processing community, to facilitate further research in this area.

연구 동기 및 목표

• 오디오 딥페이크를 보안 위협으로 연구하도록 동기를 부여하고 이미지 기반 딥페이크를 넘어서는 격차를 해소한다.
• 여러 아키텍처와 두 가지 언어로 생성된 오디오의 새로운 데이터셋을 제공하여 제어된 비교를 가능하게 한다.
• 아키텍처 간의 주파수 및 운율 차이를 특징지어 탐지 가능한 인공물(아티팩트)을 식별한다.
• 평가 표준화를 위한 기본 분류기 및 속성 분석 도구를 제공하여 방법 개발을 용이하게 한다.

제안 방법

• 두 개의 기준 코퍼스(LJSpeech 및 JSUT)에서 학습된 여섯 가지 최첨단 아키텍처로부터 파생된 117,985개의 생성 음성 클립(≈196시간) 데이터셋을 구성한다.
• 주파수 영역 차이를 분석하기 위해 Mel 스펙트로그램과 일반 특징(MFCC, LFCC 및 델타 특징)을 추출한다.
• 여러 데이터 분할 조건에서 세 가지 분류기 기본모형( LFCC/MFCC를 사용하는 두 개의 GMM과 RawNet2 신경망)을 학습하고 평가한다.
• 교차 아키텍처 일반화 평가를 위해 Equal Error Rate(EER) 및 관련 분석을 사용한 ASVspoof 스타일 평가를 채택한다.
• BlurIG 귀속 분석을 도입하여 어떤 음향 특징이 모델 간 예측에 영향을 주는지 확인한다.

실험 결과

연구 질문

• RQ1 다른 아키텍처의 생성된 오디오 샘플을 신호 처리 특징과 간단한 분류기로 실제 샘플과 구분할 수 있는가?
• RQ2 생성기 간 주파수 영역 및 운율 특성이 어떻게 다른가, 그리고 이것이 탐지 가능성에 무엇을 시사하는가?
• RQ3 한 아키텍처에서 학습된 탐지기가 다른 아키텍처와 언어로 얼마나 일반화되는가?
• RQ4 현실 세계 조건(예: 전화 녹음)을 시뮬레이션하는 것이 탐지 성능과 일반화에 영향을 미치는가?

주요 결과

• 신경망 분류기는 일반적으로 평균적으로 전통 모델보다 우수하지만, 교차 아키텍처/일반화 설정에서 덜 견고할 수 있다.
• LFCC 특징을 사용하는 GMM 기반 탐지기는 강한 교차 도메인 견고성을 제공하고 일부 설정에서 새로운 구절과 언어로 일반화할 수 있다.
• 고주파대에서 아키텍처 특유의 인공물이 존재하며 MelGAN 변형은 뚜렷한 스펙트럴 패턴을 보이는 경향이 있어 귀속 결과에 영향을 준다.
• 귀속 분석(BlurIG)은 서로 다른 모델이 서로 다른 주파수 대역에 의존한다는 것을 보여주며, 이는 아키텍처 간 다른 일반화 및 견고성의 차이를 설명한다.
• 시뮬레이션된 전화 통화 시나리오는 GMM 탐지기가 경우에 따라 매우 낮은 EER를 달성할 수 있음을 보여주는 반면, 신경망 탐지기는 어려움을 겪을 수 있어 실제 적용의 견고성 문제를 강조한다.