[논문 리뷰] Self-Attention and Hybrid Features for Replay and Deep-Fake Audio Detection

Lian Huang, Chi‐Man Pun|arXiv (Cornell University)|2024. 01. 11.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

이 논문은 재생 및 딥페이크 오디오 스푸핑 공격 탐지를 향상시키기 위해 멜스펙트로그램과 딥 네트워크 특징을 융합하고 자기주의 메커니즘을 적용한 하이브리드 딥 러닝 프레임워크를 제안한다. 최대 풀링을 통해 다중 수준의 특징을 융합하고, 자기주의 메커니즘을 활용해 중요한 성분을 강조함으로써, 모델은 ASVspoof 2021 데이터셋에서 물리적 접근 시나리오에서 EER 9.67%와 딥페이크 시나리오에서 EER 8.94%를 달성하여 최상의 베이스라인 대비 각각 74.60%와 60.05% 향상된 성능을 보였다.

ABSTRACT

Due to the successful application of deep learning, audio spoofing detection has made significant progress. Spoofed audio with speech synthesis or voice conversion can be well detected by many countermeasures. However, an automatic speaker verification system is still vulnerable to spoofing attacks such as replay or Deep-Fake audio. Deep-Fake audio means that the spoofed utterances are generated using text-to-speech (TTS) and voice conversion (VC) algorithms. Here, we propose a novel framework based on hybrid features with the self-attention mechanism. It is expected that hybrid features can be used to get more discrimination capacity. Firstly, instead of only one type of conventional feature, deep learning features and Mel-spectrogram features will be extracted by two parallel paths: convolution neural networks and a short-time Fourier transform (STFT) followed by Mel-frequency. Secondly, features will be concatenated by a max-pooling layer. Thirdly, there is a Self-attention mechanism for focusing on essential elements. Finally, ResNet and a linear layer are built to get the results. Experimental results reveal that the hybrid features, compared with conventional features, can cover more details of an utterance. We achieve the best Equal Error Rate (EER) of 9.67\% in the physical access (PA) scenario and 8.94\% in the Deep fake task on the ASVspoof 2021 dataset. Compared with the best baseline system, the proposed approach improves by 74.60\% and 60.05\%, respectively.

연구 동기 및 목표

• 자동 화자 검증 시스템이 재생 및 딥페이크 오디오 스푸핑 공격에 취약한 점을 해결하기 위해.
• 다양한 오디오 특징 유형 간 상보적인 정보를 활용하여 탐지 성능을 향상시키기 위해.
• 구분력 있는 오디오 세그먼트에 집중하는 자기주의 메커니즘을 통해 특징 표현을 향상시키기 위해.
• 물리적 접근 및 딥페이크 탐지 작업 모두에서 ASVspoof 2021 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.
• 기존의 단일 특징 접근 방식에 비해 하이브리드 특징 융합의 효과성을 입증하기 위해.

제안 방법

• 두 개의 병렬 스트림이 STFT를 통해 멜스펙트로그램 특징과 컨volutional 네트워크를 통해 딥 러닝 특징을 추출한다.
• 양쪽 스트림의 특징이 최대 풀링 레이어를 사용하여 연결되어 중요한 정보를 유지한다.
• 융합된 특징 내에서 중요한 시간적 및 주파수 성분을 동적으로 강조하기 위해 자기주의 메커니즘이 적용된다.
• 다듬어진 특징은 계층적 표현 학습을 위해 잔차 신경망(ResNet)을 통해 처리된다.
• 최종 선형 레이어가 이진 교차 엔트로피 손실을 사용하여 스푸핑 탐지 결정을 내린다.
• 표준 최적화 프rotocols를 사용하여 ASVspoof 2021 데이터셋에서 엔드 투 엔드로 모델이 훈련된다.

실험 결과

연구 질문

• RQ1 멜스펙트로그램과 딥 네트워크 임bedding을 융합한 하이브리드 특징이 단일 특징 기반 베이스라인을 초월해 스푸핑 탐지 성능을 향상시킬 수 있는가?
• RQ2 자기주의 메커니즘이 스푸핑된 발화에서 구분력 있는 오디오 패턴에 집중하는 데 얼마나 기여하는가?
• RQ3 재생 및 딥페이크 오디오 탐지 작업에서 등가 오류율(EER) 측면에서 제안된 프레임워크는 최신 기술 수준의 시스템과 비교해 어떻게 성능을 내는가?
• RQ4 다양한 스푸핑 시나리오에 걸쳐 다중 수준의 특징 융합이 일반화 성능을 향상시키는가?
• RQ5 모델은 동시에 물리적 접근 공격과 합성 딥페이크 공격에 대해 강건한 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 ASVspoof 2021 데이터셋의 물리적 접근(PA) 시나리오에서 등가 오류율(EER) 9.67%를 달성하였다.
• 딥페이크 탐지 작업에서는 EER 8.94%를 기록하여 최상의 베이스라인 시스템을 크게 능가하였다.
• PA 시나리오에서 최상의 베이스라인 대비 상대적 EER 감소율이 74.60%이고, 딥페이크 작업에서는 60.05%였다.
• 하이브리드 특징은 스펙트럼적 특징과 학습된 표현 간의 상보적 정보를 캡처함으로써 더 높은 분류 능력을 제공한다.
• 자기주의 메커니즘은 스푸핑된 오디오의 중요한 세그먼트를 효과적으로 강조하여 모델의 강건성과 해석 가능성 향상에 기여한다.
• 최대 풀링을 통한 멜스펙트로그램과 딥 러닝 특징 융합은 모델 복잡도를 과도하게 증가시키지 않으면서도 특징 표현을 향상시킨다.