[논문 리뷰] The DKU-DUKEECE System for the Manipulation Region Location Task of ADD 2023

Zexin Cai, Weiqing Wang외 2명|arXiv (Cornell University)|2023. 08. 20.

Music and Audio ProcessingComputer Science인용 수 3

한 줄 요약

이 논문은 파형 경계 검출 모델, 프레임 수준의 반스푸핑 검출기, 그리고 VAE 기반 이상치 검출기를 융합한 DKU-DUKEECE 시스템을 제시하며, Audio Deepfake Detection Challenge 2023 Track 2에서 최고 성능을 기록한다. 이 시스템은 문장 정확도 82.23%와 F₁ 스코어 60.66%를 달성하여 종합 ADD 스코어 0.6713으로 1위를 차지한다.

ABSTRACT

This paper introduces our system designed for Track 2, which focuses on locating manipulated regions, in the second Audio Deepfake Detection Challenge (ADD 2023). Our approach involves the utilization of multiple detection systems to identify splicing regions and determine their authenticity. Specifically, we train and integrate two frame-level systems: one for boundary detection and the other for deepfake detection. Additionally, we employ a third VAE model trained exclusively on genuine data to determine the authenticity of a given audio clip. Through the fusion of these three systems, our top-performing solution for the ADD challenge achieves an impressive 82.23% sentence accuracy and an F1 score of 60.66%. This results in a final ADD score of 0.6713, securing the first rank in Track 2 of ADD 2023.

연구 동기 및 목표

• 부분적으로 가공된 음성 클립에서 조작된 영역을 특정하는 데 도전하는 것. 이는 단순한 진위성 분류보다 더 복잡한 과제이다.
• 도메인 외부의 음성 데이터에서 조작된 영역의 경계를 탐지하고 가짜 세그먼트를 식별할 수 있는 견고한 시스템을 개발하는 것.
• 특정 합성 시스템에 대해 훈련된 기존 반스푸핑 모델의 일반화 한계를 극복하기 위해 상호보완적인 검출 메커니즘을 통합하는 것.
• 감독 학습과 자기지도 학습을 결합하고 이상치 검출을 통해 미리 보지 못한, 일치하지 않는 도메인에서의 탐지 성능을 향상시키는 것.
• 히우리스틱 기반 점수 전략을 사용하여 다수의 모델을 융합함으로써 ADD 2023 챌린지에서 최고 성능을 달성하는 것.

제안 방법

• 프레임 수준의 레이블을 사용하여 스플리싱된 음성 클립의 연결 지점(경계)을 식별하기 위해 WavLM 기반의 경계 검출 모델을 훈련한다.
• 출력 레이블을 재정의하여 각 프레임을 진짜 또는 가짜로 분류함으로써 경계 검출 모델을 프레임 수준의 반스푸핑 검출기로 재사용한다.
• 학습된 표현을 기반으로 개별 음성 프레임의 진위성을 평가하기 위해 Wav2Vec 기반의 프레임 수준 반스푸핑 모델을 활용한다.
• 진짜 음성 샘플 전용으로 VAE 모델을 훈련하여 실제 음성 분포에서 크게 벗어난 이상치를 탐지한다.
• 세 모델의 출력을 히어스틱 점수 전략을 사용하여 융합한다: 1~3개의 경계가 있는 세그먼트에 대해서는 경계 및 반스푸핑 결과를 사용하고, 모호한 경우(0개 또는 10개 이상의 경계)는 VAE의 이상치 점수를 재계산한다.
• 임계값 기반 의사결정 규칙을 적용한다: 한 세그먼트의 40퍼센트 이상의 프레임이 가짜로 예측되면 해당 세그먼트를 가짜로 분류하고, 그렇지 않으면 진짜로 분류한다.

실험 결과

연구 질문

• RQ1 훈련 데이터와 테스트 데이터가 서로 다른 합성 시스템에서 유래한 경우, 부분적으로 가공된 음성 클립에서 조작된 영역을 효과적으로 국소화할 수 있는 방법은 무엇인가?
• RQ2 경계 검출, 프레임 수준의 반스푸핑, 이상치 검출의 조합이 도메인 외부 음성에서의 일반화 성능에 얼마나 기여하는가?
• RQ3 음성 스플리싱 위조의 맥락에서 각기 다른 강점을 지닌 다수의 탐지 모델을 융합하는 데 가장 적합한 융합 전략은 무엇인가?
• RQ4 진짜 데이터만으로 훈련된 VAE가 실제 음성 분포에서 크게 벗어나 있는 가짜 음성 클립을 효과적으로 식별할 수 있는가?
• RQ5 모델 예측이 모호할 경우, 세그먼트 길이와 가짜 프레임 비율 기반의 히어스틱 규칙이 분류 정확도를 어떻게 향상시키는가?

주요 결과

• DKU-DUKEECE 시스템은 ADD 2023 Track 2 테스트 세트에서 문장 정확도 82.23%를 기록하여 조작 영역을 정확히 식별하는 데 높은 정밀도를 보였다.
• 시스템은 F₁ 스코어 60.66%를 확보하여 가짜 세그먼트 탐지에서 정밀도와 재현율 간의 균형 잡힌 성능을 보였다.
• 최종 융합 모델은 VAE 기반 이상치 검출을 통합하여 종합 ADD 스코어 0.6713을 달성했으며, 이는 ADD 2023 Track 2에서 1위를 차지한 것이다.
• WavLM 기반의 경계 검출 모델과 Wav2Vec 기반의 반스푸핑 모델을 조합한 기본 모델은 VAE 통합 이전에 0.6538의 ADD 스코어를 기록했다.
• VAE 모델은 모호한 경우—특히 0개 또는 10개 이상의 경계가 검출된 경우—를 재계산함으로써 성능을 크게 향상시켰으며, 특히 분포에서 가장 크게 벗어난 상위 45퍼센트의 샘플을 가짜로 식별했다.
• 두 세그먼트의 가짜 프레임 비율이 유사할 경우 짧은 세그먼트를 가짜로 분류하는 히어스틱 점수 전략은 훈련 세트의 사전 지식에 기반하여 모호한 이중 세그먼트 케이스를 효과적으로 처리하는 데 성공했다.