[논문 리뷰] Does Audio Deepfake Detection Generalize?

Nicolas M. Müller, Pavel Czempin외 3명|arXiv (Cornell University)|2022. 03. 30.

Music and Audio Processing인용 수 7

한 줄 요약

이 논문은 표준화된 프로토콜을 사용하여 12개의 오디오 딥페이크 탐지 모델을 체계적으로 평가하며, 실제 세계의 오디오 위조품을 담은 새로운 '인더와일드(in-the-wild)' 데이터셋 37.9시간을 소개한다. 연구 결과, ASVspoof 벤치마크에서 훈련된 모델는 실제 세계 데이터에 대해 일반화 능력이 떨어지며, 성능이 최대 1,000% 악화되는 것으로 나타났고, cqtspec/logspec 특징과 전장 오디오 입력이 탐지 정확도와 강건성 향상에 핵심 요소임을 규명했다.

ABSTRACT

Current text-to-speech algorithms produce realistic fakes of human voices, making deepfake detection a much-needed area of research. While researchers have presented various techniques for detecting audio spoofs, it is often unclear exactly why these architectures are successful: Preprocessing steps, hyperparameter settings, and the degree of fine-tuning are not consistent across related work. Which factors contribute to success, and which are accidental? In this work, we address this problem: We systematize audio spoofing detection by re-implementing and uniformly evaluating architectures from related work. We identify overarching features for successful audio deepfake detection, such as using cqtspec or logspec features instead of melspec features, which improves performance by 37% EER on average, all other factors constant. Additionally, we evaluate generalization capabilities: We collect and publish a new dataset consisting of 37.9 hours of found audio recordings of celebrities and politicians, of which 17.2 hours are deepfakes. We find that related work performs poorly on such real-world data (performance degradation of up to one thousand percent). This may suggest that the community has tailored its solutions too closely to the prevailing ASVSpoof benchmark and that deepfakes are much harder to detect outside the lab than previously thought.

연구 동기 및 목표

• 기존 오디오 딥페이크 탐지 모델이 ASVspoof 벤치마크 외부의 실제 세계 오디오 위조품에 대해 효과적으로 일반화되는지 조사하기 위해.
• 오디오 위조 탐지에서 모델 성능을 이끄는 주요 아키텍처, 전처리 및 하이퍼파라미터 요소를 규명하기 위해.
• 이전 연구에서 특징 추출, 하이퍼파라미터 튜닝 및 평가 프로토콜에 대한 일관성 부족 문제를 해결하기 위해.
• 실제 평가를 가능하게 하기 위해 셀럽과 정치인의 오디오에서 수집한 17.2시간의 고품질 딥페이크 오디오 데이터셋을 수집 및 공개하기 위해.
• 입력 길이와 특징 유형(melspec, cqtspec, logspec 등)이 다양한 모델 아키텍처에서 탐지 성능에 미치는 영향을 평가하기 위해.

제안 방법

• 일致된 훈련, 검증 및 테스트 프로토콜을 사용하여 이전 연구에서 제안한 12개의 최신 오디오 위조 탐지 아키텍처를 재현하고 통합 평가하였다.
• 모델 아키텍처와 하이퍼파라미터를 동일하게 유지한 상태에서 melspec, cqtspec, logspec 등의 다양한 특징 추출 기법 간 성능을 체계적으로 비교하였다.
• 모든 모델에서 전체 길이 오디오 입력과 고정된 4초 클립을 대조하여 입력 길이의 영향을 평가하였다.
• 셀럽과 정치인의 공개 녹음 자료에서 37.9시간의 오디오를 포함한 새로운 인더와일드 데이터셋을 수집 및 정제하였다.
• ASVspoof 2019 데이터셋과 새로운 인더와일드 데이터셋 양쪽에서 모델을 훈련하고 평가하여 도메인 일반화 성능을 측정하였다.
• 표준 평가 지표인 Equal Error Rate (EER) 및 t-DCF를 사용하여 다양한 벤치마크와 특징 유형 간 모델 성능을 정량적으로 비교하였다.

실험 결과

연구 질문

• RQ1 기존 오디오 딥페이크 탐지 모델은 ASVspoof 벤치마크 외부의 실제 세계 오디오 위조품에 대해 어느 정도 일반화되는가?
• RQ2 melspec, cqtspec, logspec 중 어떤 특징 추출 기법이 다양한 모델 아키텍처에서 가장 높은 탐지 성능을 낳는가?
• RQ3 입력 길이(고정 4초 대비 전체 오디오)는 오디오 위조 탐지 모델의 성능에 어떤 영향을 미치는가?
• RQ4 ASVspoof 평가 스플릿의 추가 데이터를 포함하거나 미세조정하면 인더와일드 데이터에 대한 일반화 성능이 향상되는가?
• RQ5 ASVspoof에서 보고된 높은 성능 점수는 강건한 탐지 능력을 반영하는가, 아니면 좁은 분포의 합성 데이터에 과적합된 것인가?

주요 결과

• ASVspoof 벤치마크에서 훈련된 모델는 새로운 인더와일드 데이터셋에서 심각한 성능 저하를 보이며, EER이 벤치마크 성능 대비 최대 1,000% 상승하였다.
• melspec 대신 cqtspec 또는 logspec 특징을 사용할 경우, 다른 요소를 동일하게 유지한 상태에서 평균 탐지 성능이 EER 기준 37% 향상되었다.
• 전체 길이 오디오 입력이 고정 4초 클립보다 우수하며, ASVspoof 2019에서 EER을 18.89%에서 9.85%로 감소시켜 짧은 입력이 모델 용량을 제한함을 시사했다.
• ASVspoof 2019 'eval' 스플릿의 포함 여부가 인더와일드 데이터에 대한 일반화 성능을 향상시키지 않아, 동일한 소스 분포의 데이터는 도메인 외부 탐지에 유의미한 이점을 제공하지 않는 것으로 나타났다.
• 최고의 성능을 보인 모델(RawNet2)조차도 ASVspoof 2019 모든 스플릿에서 훈련한 경우에도 인더와일드 데이터셋에서 EER이 33.1%에 그쳐 실제 세계에서의 강건성 부족함을 보여주었다.
• 일부 모델은 인더와일드 데이터셋에서 랜덤 추측 수준 이하의 성능을 보이며, 실험실 기반 평가와 실제 적용 간 심각한 격차를 드러냈다.