[논문 리뷰] AI-Synthesized Voice Detection Using Neural Vocoder Artifacts

Chengzhe Sun, Shan Jia외 2명|arXiv (Cornell University)|2023. 04. 25.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

이 논문은 음성 신호 내의 신경망 보이스코더 아티팩트를 식별함으로써 AI로 합성된 인간의 목소리를 탐지하는 새로운 방법을 제안한다. 보이스코더 식별과 합성 음성 탐지 간에 공유된 특징 추출기를 갖춘 다중 작업 학습 프레임워크를 사용하여, 특히 MelGAN과 Parallel WaveGAN와 같은 학습 데이터에 포함되지 않은 보이스코더에 대해서도 높은 탐지 정확도를 달성한다. 기존 보이스코더에 대한 EER은 2.16%이며, 미학습 보이스코더에 대한 EER은 35.53%이다.

ABSTRACT

Advancements in AI-synthesized human voices have created a growing threat of impersonation and disinformation, making it crucial to develop methods to detect synthetic human voices. This study proposes a new approach to identifying synthetic human voices by detecting artifacts of vocoders in audio signals. Most DeepFake audio synthesis models use a neural vocoder, a neural network that generates waveforms from temporal-frequency representations like mel-spectrograms. By identifying neural vocoder processing in audio, we can determine if a sample is synthesized. To detect synthetic human voices, we introduce a multi-task learning framework for a binary-class RawNet2 model that shares the feature extractor with a vocoder identification module. By treating vocoder identification as a pretext task, we constrain the feature extractor to focus on vocoder artifacts and provide discriminative features for the final binary classifier. Our experiments show that the improved RawNet2 model based on vocoder identification achieves high classification performance on the binary task overall.

연구 동기 및 목표

• 인간을 위장하거나 오락성 정보 유포에 악용되는 AI로 합성된 음성의 증가하는 위협에 대응한다.
• 기존의 통계적 또는 수작업으로 만든 특징에 의존하는 음성 탐지 방법의 한계를 극복한다.
• 특정하고 해석 가능한 신호 흔적인 신경 보이스코더 아티팩트를 합성 음성 탐지에 위한 분류적 특징으로 활용한다.
• 보이스코더 식별을 사전 과제로 삼는 다중 작업 학습 프레임워크를 통해 탐지 성능의 강건성과 일반화 능력을 향상시킨다.
• 보이스코더 아티팩트 탐지 연구를 지원하기 위해 공개 가능한 데이터셋인 LibriSeVoc을 제공한다.

제안 방법

• 이진 분류를 위한 RawNet2 모델이 보이스코더 식별 모듈과 공유하는 프론트엔드 특징 추출기를 갖춘 다중 작업 학습 프레임워크를 제안한다.
• 특징 추출기가 보이스코더 수준의 아티팩트에 집중하도록 하기 위해 보이스코더 식별을 사전 과제로 사용한다.
• 여섯 개의 최신 신경 보이스코더에서 생성된 자기 보이스코딩 샘플을 포함하는 새로 구축한 데이터셋인 LibriSeVoc을 사용해 모델을 훈련시킨다.
• 후처리에 대한 강건성을 평가하기 위해 리샘플링 및 배경 잡음 추가와 같은 데이터 증강 기법을 적용한다.
• 입력 표현으로 멜스펙트로그램을 사용하고, 엔드 투 엔드 특징 학습을 위해 RawNet2 아키텍처를 활용한다.
• 이진 분류 및 보이스코더 식별 과제 모두에 대해 교차 엔트로피 손실을 최적화하여 모델을 학습시킨다.

실험 결과

연구 질문

• RQ1 신경 보이스코더 아티팩트는 AI로 합성된 인간의 목소리를 탐지하는 데 신뢰할 수 있고 해석 가능한 특징로 기능할 수 있는가?
• RQ2 보이스코더 식별을 사전 과제로 삼는 다중 작업 학습 접근법은 합성 음성 탐지 성능 향상에 얼마나 효과적인가?
• RQ3 학습 데이터에 포함되지 않은 새로운 보이스코더에 대해 제안된 방법이 얼마나 일반화되는가?
• RQ4 리샘플링 및 배경 잡음과 같은 일반적인 음성 후처리 작업에 대해 탐지 모델은 얼마나 강건한가?
• RQ5 제안된 방법은 도메인 내 및 교차 데이터셋 평가 모두에서 기존 최고 성능 모델을 능가할 수 있는가?

주요 결과

• 제안된 방법은 원본 LibriSeVoc 테스트 세트에서 0.13%의 동일 오류률(EER)을 달성하여 높은 탐지 정확도를 입증했다.
• WaveFake 데이터셋에서 전체 EER은 26.95%였으며, 기존 보이스코더(MelGAN, Parallel WaveGAN)에 대해서는 2.16%로, 익숙한 모델에 대해 강력한 성능을 보였다.
• 모델은 후처리에 대해 향상된 강건성을 보였으며, 리샘플링과 잡음을 포함한 열악한 테스트 세트에서는 EER이 2.73%로 상승했지만, 청소된 데이터에서는 0.13%였기에 강건성이 뛰어났다.
• 학습 데이터에 포함되지 않은 보이스코더에 대해서는 성능이 열악하게 나타났으며, WaveFake의 미학습 보이스코더에 대해 EER이 35.53%로 상승하여 일반화의 한계를 드러냈다.
• 다중 작업 학습 전략은 특징 추출기가 분류 가능한 보이스코더 아티팩트를 효과적으로 학습하도록 제약을 두어, 기준 모델인 RawNet2보다 탐지 성능을 향상시켰다.
• LibriSeVoc 데이터셋은 다양한 보이스코더 아티팩트를 성공적으로 캡처하여 보이스코더 전용 신호 흔적에 대한 통제된 연구 및 훈련을 가능하게 했다.