[논문 리뷰] DeepSonar: Towards Effective and Robust Detection of AI-Synthesized Fake Voices

Run Wang, Felix Juefei-Xu외 5명|arXiv (Cornell University)|2020. 05. 28.

Music and Audio Processing참고 문헌 49인용 수 17

한 줄 요약

DeepSonar는 화자 인식 모델 내 계층별 활성화 패턴을 분석함으로써 인공지능에 의해 생성된 위조 음성 음성을 탐지하기 위한 새로운 뉴런 행동 기반 접근법을 제안한다. 이는 다양한 데이터셋에서 평균 정확도 98.1%와 낮은 임의의 경고 비율(약 2%)을 달성하며, 음성 변환 및 실생활 소음 공격에 대해 뛰어난 강건성을 보인다.

ABSTRACT

With the recent advances in voice synthesis, AI-synthesized fake voices are indistinguishable to human ears and widely are applied to produce realistic and natural DeepFakes, exhibiting real threats to our society. However, effective and robust detectors for synthesized fake voices are still in their infancy and are not ready to fully tackle this emerging threat. In this paper, we devise a novel approach, named \emph{DeepSonar}, based on monitoring neuron behaviors of speaker recognition (SR) system, \ie, a deep neural network (DNN), to discern AI-synthesized fake voices. Layer-wise neuron behaviors provide an important insight to meticulously catch the differences among inputs, which are widely employed for building safety, robust, and interpretable DNNs. In this work, we leverage the power of layer-wise neuron activation patterns with a conjecture that they can capture the subtle differences between real and AI-synthesized fake voices, in providing a cleaner signal to classifiers than raw inputs. Experiments are conducted on three datasets (including commercial products from Google, Baidu, \etc) containing both English and Chinese languages to corroborate the high detection rates (98.1\% average accuracy) and low false alarm rates (about 2\% error rate) of DeepSonar in discerning fake voices. Furthermore, extensive experimental results also demonstrate its robustness against manipulation attacks (\eg, voice conversion and additive real-world noises). Our work further poses a new insight into adopting neuron behaviors for effective and robust AI aided multimedia fakes forensics as an inside-out approach instead of being motivated and swayed by various artifacts introduced in synthesizing fakes.

연구 동기 및 목표

• 실제 인간의 목소리와 구분되지 않는 AI로 생성된 위조 음성의 증가하는 위협을 다루며, 사기 및 오락성 정보 유포와 같은 위험을 방지한다.
• 최근 시스템에서는 흔히 존재하지 않거나 미약한 위조 음성의 가시적 특징에 의존하는 기존 탐지 방법의 한계를 극복한다.
• 소음 환경 및 후처리 조작과 같은 실생활 조건에서도 효과적이고 강건한 탐지 프레임워크를 개발한다.
• 외부 특징이 아닌 내부 뉴런 행동 기반의 내부-외부 접근 방식을 탐색함으로써 더 나은 일반화 능력과 해석 가능성 향상을 도모한다.

제안 방법

• 실제 대조 음성 탐지에 대한 구분 가능한 표현을 추출하기 위해 사전에 훈련된 화자 인식(SR) 모델의 계층별 뉴런 활성화 패턴을 모니터링한다.
• 음성 합성 과정에서 유도된 인위적 특징에 의존하지 않고, DNN의 내부 표현을 분류의 신호 소스로 사용한다.
• 다양한 계층의 뉴런 활성화 패턴을 통합하여 훈련된 분류기를 통해 실제 인간의 목소리와 AI로 생성된 위조 음성을 구분한다.
• 다양한 음성 유형과 언어(영어 및 중국어)에 대한 일반화 능력을 향상시키기 위해 데이터 증강 및 정규화 기법을 적용한다.
• 실제 배포 조건을 시뮬레이션하기 위해 테스트 입력에 음성 변환 및 추가적 실생활 소음(예: 바람, 비, 웃음소리)을 적용하여 강건성 평가를 수행한다.
• 비스펙트럼 특징 분석을 사용하는 베이스라인과의 성능 비교를 통해 조작 공격 하에서 뛰어난 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 화자 인식 모델 내 계층별 뉴런 활성화 패턴은 실제 인간의 목소리와 AI로 생성된 위조 음성 간에 효과적으로 구분할 수 있는가?
• RQ2 제안된 뉴런 행동 기반 탐지 방법은 실생활 소음 조건과 음성 변환 공격 하에서 어떻게 성능을 발휘하는가?
• RQ3 내부 DNN 행동을 모니터링하는 것이 비스펙트럼 특징과 같은 외부 특징에 의존하는 것보다 더 나은 탐지 성능과 강건성을 제공하는가?
• RQ4 이 방법은 다양한 언어와 상용 TTS/VC 시스템(예: Google, Baidu) 간에 어떻게 일반화되는가?

주요 결과

• DeepSonar는 상용 TTS 및 음성 클로닝 시스템을 포함한 세 가지 다양한 데이터셋에서 평균 탐지 정확도 98.1%를 달성한다.
• 임의의 경고 비율은 약 2%로 낮아 실제 음성과 위조 음성 간의 신뢰성 있는 구분이 가능하다.
• 음성 변환 공격 하에서도 강력한 성능 유지를 보이며, 다섯 가지 노이즈 강도에서 평균적으로 정확도 감소율이 7% 미만이다.
• 추가적 실생활 노이즈의 경우 실내 노이즈(예: 불꽃 놀이, 기차)에서는 성능 저하가 18% 미만이며, 바람과 비에서는 최대 25%까지 저하되나, SNR > 35 dB 조건에서는 여전히 효과적이다.
• 모든 조작 유형에서 비스펙트럼 특징 기반 베이스라인보다 뚜렷이 뛰어난 성능을 보이며 일관된 높은 AUC 스코어를 기록한다.
• 특히 노이즈 제거 기법이 적용된 경우 복잡한 노이즈 혼합물에 대해서도 강건성을 유지하며, 향후 음성 향상 기법과의 통합 가능성을 시사한다.