[논문 리뷰] A Cross-Verification Approach for Protecting World Leaders from Fake and Tampered Audio

Mengyi Shan, T. J. Tsai|arXiv (Cornell University)|2020. 10. 23.

Digital Media Forensic Detection참고 문헌 26인용 수 4

한 줄 요약

이 논문은 세계 지도자들의 연설 녹음을 신뢰할 수 있는 기준 녹음본과 일치시켜 위변조된 음성 녹음을 검증하는 크로스-검증 프레임워크를 제안한다. 수정된 Needleman-Wunsch 알고리즘을 사용해 의심스러운 음성과 기준 녹음을 정렬하고, 딥러닝 모델을 활용해 프레임 단위 일치 여부를 분류한다. 50ms 오차 허용 범위에서 정렬 정확도가 99.7%에 달하고, 프레임 할당에서 등가오류율(EER)이 0.43%로 기록되어, 동적 시간 왜곡(DTW) 및 기존 방법보다 위변조 음성 탐지에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

This paper tackles the problem of verifying the authenticity of speech recordings from world leaders. Whereas previous work on detecting deep fake or tampered audio focus on scrutinizing an audio recording in isolation, we instead reframe the problem and focus on cross-verifying a questionable recording against trusted references. We present a method for cross-verifying a speech recording against a reference that consists of two steps: aligning the two recordings and then classifying each query frame as matching or non-matching. We propose a subsequence alignment method based on the Needleman-Wunsch algorithm and show that it significantly outperforms dynamic time warping in handling common tampering operations. We also explore several binary classification models based on LSTM and Transformer architectures to verify content at the frame level. Through extensive experiments on tampered speech recordings of Donald Trump, we show that our system can reliably detect audio tampering operations of different types and durations. Our best model achieves 99.7% accuracy for the alignment task at an error tolerance of 50 ms and a 0.43% equal error rate in classifying audio frames as matching or non-matching.

연구 동기 및 목표

• 세계 지도자들을 대상으로 한 딥페이크 및 위변조 음성의 증가하는 위협에 대응하기 위해.
• 고립된 음성 분석이 아닌 신뢰할 수 있는 기준 녹음본을 활용해 음성 진위성을 검증할 수 있는 강력한 방법을 개발하기 위해.
• 단지 위조된 음성을 탐지하는 것뿐만 아니라, 진짜 녹음본을 긍정적으로 검증할 수 있도록 하기 위해.
• 삽입, 삭제, 교체 등 다양한 위변조 작업에 대해 높은 정확도로 탐지할 수 있도록 하기 위해.
• 다양한 소스를 활용한 크로스-검증에 기반하여 발전하는 음성 스푸핑 기술에 대비해 내구성이 뛰어난 시스템을 구축하기 위해.

제안 방법

• 두 단계로 구성된 크로스-검증 시스템: 먼저 쿼리 음성을 신뢰할 수 있는 기준 녹음본과 수정된 Needleman-Wunsch 알고리즘(SNWTW)을 사용해 정렬한다.
• SNWTW는 매치 비용과의 독립적인 스킵 페널티를 도입하여, 동적 시간 왜곡(DTW)에 비해 삽입 및 삭제 처리에 더 나은 성능을 발휘한다.
• 정렬 과정은 매치, 불일치, 스킵에 대한 가중치를 가진 점수 행렬을 사용하며, 시간적 왜곡 하에서 부분수열 정렬을 최적화한다.
• 프레임 단위 할당 모델은 양방향 LSTM과 Transformer 아키텍처를 활용해 각 음성 프레임이 일치하는지 여부를 분류한다.
• 시스템은 다양한 지속시간(0.1초에서 5초)의 삽입, 삭제, 교체를 포함한 합성 위변조 시나리오로 훈련된다.
• 프레임워크는 다수의 소스에서 확보한 도널드 트럼프의 위변조된 녹음본을 대상으로 평가되었으며, 다양한 비트레이트(96kbps에서 160kbps)를 적용하였다.

실험 결과

연구 질문

• RQ1 신뢰할 수 있는 기준 녹음본을 기반으로 한 크로스-검증 시스템은, 진짜 내용과 구분이 어려운 위변조 음성도 신뢰성 있게 탐지할 수 있는가?
• RQ2 수정된 Needleman-Wunsch 알고리즘(SNWTW)은 동적 시간 왜곡(DTW)에 비해 위변조된 음성 시퀀스와 기준 녹음본 간 정렬에서 어떤 성능을 보이는가?
• RQ3 딥러닝 모델(LSTM, BiLSTM, Transformer)의 프레임 단위 일치 분류 성능는 어떠한가?
• RQ4 편집 지속시간과 음성 비트레이트는 정렬 및 분류 정확도에 어떤 영향을 미치는가?
• RQ5 다양한 위변조 작업과 실제 환경의 음성 품질 변동에도 불구하고 시스템은 높은 정확도를 유지할 수 있는가?

주요 결과

• SNWTW 정렬 방법은 50ms 오차 허용 범위에서 99.7%의 정확도를 기록했으며, 동적 시간 왜곡(DTW)보다 뚜렷한 성능 향상을 보였다. DTW는 약 2.8%의 오차율로 안정화된다.
• 가장 높은 성능을 보인 3층 양방향 LSTM 모델은 프레임 단위 할당에서 0.43%의 등가오류율(EER)을 기록했으며, 표준 LSTM 및 Transformer 모델보다 뛰어난 성능을 보였다.
• 훈련 지속시간(L=2초)에서 벗어나 편집 지속시간이 길어질수록 성능이 저하되며, 0.1초 편집 시 EER은 15.14%로 상승하지만, 1초 및 2초 편집에서는 여전히 높은 성능 유지를 보였다.
• 음성 비트레이트는 성능에 거의 영향을 주지 않으며, 96kbps에서도 안정적인 결과를 기록하여 품질 수준 간의 내구성을 입증했다.
• 삽입, 삭제, 교체 등 다양한 위변조 작업에 대해 높은 정확도를 유지하며, 현실적인 공격 시나리오에 대한 일반화 능력을 입증했다.
• 크로스-검증 접근법은 위변조 기술의 정교함과 무관하게 진짜 녹음본을 긍정적으로 검증할 수 있도록 하여 영구적인 솔루션을 제공한다.