Skip to main content
누빈트
QUICK REVIEW

[논문 리뷰] End-to-End Spectro-Temporal Graph Attention Networks for Speaker Verification Anti-Spoofing and Speech Deepfake Detection

Hemlata Tak, Jee-weon Jung|arXiv (Cornell University)|2021. 07. 27.
Speech Recognition and Synthesis참고 문헌 58인용 수 8
한 줄 요약

이 논문은 원시 음성에서 직접 스펙트럼 부분대역과 시간 세그먼트 간의 구분 가능한 관계를 학습하는 완전한 엔드 투 엔드 스펙트럼-시간 그래프 어텐션 네트워크인 RawGAT-ST를 제안한다. 이는 발화자 확인 위조 탐지 및 음성 딥패킹 검출에 사용되며, 스펙트럼 및 시간 어텐션의 모델 수준 융합과 새로운 그래프 풀링 전략을 통해 ASVspoof 2019 로지컬 액세스 데이터셋에서 최고 수준의 등오차율(EER) 1.06%를 달성한다.

ABSTRACT

Artefacts that serve to distinguish bona fide speech from spoofed or deepfake speech are known to reside in specific subbands and temporal segments. Various approaches can be used to capture and model such artefacts, however, none works well across a spectrum of diverse spoofing attacks. Reliable detection then often depends upon the fusion of multiple detection systems, each tuned to detect different forms of attack. In this paper we show that better performance can be achieved when the fusion is performed within the model itself and when the representation is learned automatically from raw waveform inputs. The principal contribution is a spectro-temporal graph attention network (GAT) which learns the relationship between cues spanning different sub-bands and temporal intervals. Using a model-level graph fusion of spectral (S) and temporal (T) sub-graphs and a graph pooling strategy to improve discrimination, the proposed RawGAT-ST model achieves an equal error rate of 1.06 % for the ASVspoof 2019 logical access database. This is one of the best results reported to date and is reproducible using an open source implementation.

연구 동기 및 목표

  • 발화자 확인 위조 공격의 다양성을 탐지하기 위해 스펙트럼 도메인과 시간 도메인 양쪽에서의 특징적인 잔여물(artefacts)을 모델링함으로써 도전 과제를 해결하고자 한다.
  • 수작업 특징 또는 후기 융합에 의존하는 이전 모델의 한계를 극복하기 위해 원시 웨이브폼에서부터 엔드 투 엔드 학습을 가능하게 하고자 한다.
  • 그래프 신경망 아키텍처를 활용해 스펙트럼 및 시간 어텐션 메커니즘을 하나의 모델 아키텍처 내에서 융합함으로써 탐지 성능을 향상시키고자 한다.
  • 핵심 특징을 유지하면서 그래프 차원을 감소시키는 새로운 그래프 풀링 전략을 통해 구분 능력을 향상시키고자 한다.
  • 개별 스펙트럼 또는 시간 모델의 점수 수준 융합 전략에 비해 통합형 엔드 투 엔드 접근 방식의 우수성을 입증하고자 한다.

제안 방법

  • 모델은 수작업 특징(예: MFCC 또는 스펙트로그램)이 필요 없도록, 원시 웨이브폼 표현을 직접 추출하기 위해 일차원 sinc 컨볼루션 레이어를 사용한다.
  • 스펙트럼 어텐션(S)과 시간 어텐션(T) 각각을 위한 별도의 서브그래프를 구성하며, 각각 부분대역 또는 시간 세그먼트를 나타내는 노드 간의 관계를 모델링한다.
  • 스펙트럼-시간 그래프 어텐션 네트워크(GAT-ST)는 모델 수준에서 S 및 T 서브그래프를 융합함으로써 양 도메인 간 상호보완적인 신호를 함께 학습할 수 있도록 한다.
  • 그래프 어텐션 메커니즘은 노드 쌍 간의 학습 가능한 어텐션 가중치를 계산하고, 이를 통해 특징을 더 낮은 차원의 표현으로 집계함으로써 구분 능력을 향상시킨다.
  • 새로운 그래프 풀링 전략은 가장 정보가 많은 특징을 선택하여 노드 수를 감소시킴으로써 모델의 강건성과 성능을 향상시킨다.
  • 자기 어텐션 메커니즘을 사용해 엔드 투 엔드로 학습되며, 동적으로 가장 구분 능력이 높은 스펙트럼 및 시간 영역을 강조한다.
Figure 1: The proposed RawGAT-ST model architecture. The top-left spectral attention block captures discriminative spectral information. The top-right temporal attention block captures discriminative temporal information. Fusion is performed at the model level (middle ellipse). The bottom block comp
Figure 1: The proposed RawGAT-ST model architecture. The top-left spectral attention block captures discriminative spectral information. The top-right temporal attention block captures discriminative temporal information. Fusion is performed at the model level (middle ellipse). The bottom block comp

실험 결과

연구 질문

  • RQ1스펙트럼 및 시간 관계를 동시에 모델링하는 통합형 엔드 투 엔드 모델이 별도의 모델이나 후기 융합 전략에 비해 위조 탐지 성능에서 뛰어나게 되는가?
  • RQ2원시 웨이브폼에서 직접 표현을 학습하는 것이 수작업 음향 특징을 사용하는 것보다 탐지 성능을 향상시키는가?
  • RQ3그래프 신경망 아키텍처에서 스펙트럼 및 시간 어텐션의 모델 수준 융합이 점수 수준 융합에 비해 성능과 일반화 능력 측면에서 어떻게 비교되는가?
  • RQ4그래프 풀링 전략이 가장 정보가 많은 스펙트럼-시간 특징에 집중함으로써 얼마나 많은 구분 능력 향상을 이룰 수 있는가?
  • RQ5복잡한 아키텍처나 외부 특징 공학 없이도 단일 경량 모델이 다양한 위조 공격에 대해 최고 수준의 성능을 달성할 수 있는가?

주요 결과

  • RawGAT-ST 모델은 ASVspoof 2019 로지컬 액세스 데이터셋에서 등오차율(EER) 1.06%를 기록했으며, 이는 현재까지 보고된 바 중 최고 수준의 결과 중 하나이다.
  • 제거 실험 결과에서 스펙트럼 어텐션을 제거할 경우 EER가 1.87%로 증가하여, 시간 어텐션만을 사용할 경우보다 스펙트럼 어텐션이 더 중요한 역할을 한다는 것을 확인했다.
  • 그래프 풀링을 포함할 경우 EER가 풀링 없이 2.47%에서 1.06%로 감소하여, 성능 향상에 있어 그 기여도가 뚜렷하게 드러났다.
  • 지난 버전인 ResNet18-GAT-T의 후기 점수 융합 방식에 비해 RawGAT-ST는 min-tDCF 기준 63% 향상, EER 기준 77% 향상되어, 모델 수준 융합의 유용성을 입증했다.
  • 단지 0.44백만 파라미터를 가진 것으로도, 더 복잡한 아키텍처나 수작업 특징을 사용한 대부분의 기존 모델을 능가하는 성능을 달성했다.
  • 원시 음성에서 직접 작동하는 시스템은 RawGAT-ST와 Res-TSSDNet 뿐이므로, 이 작업에 대해 엔드 투 엔드 학습의 우수성을 확인할 수 있었다.
Figure 2: An illustration of the proposed graph-based process including a graph attention layer and a graph pooling layer for an input graph with 4 nodes. $\textrm{h}_{n}\in\mathbb{R}^{d}$ represents the node representation $n\in N$ . The graph attention layer estimates attention weights $\alpha$ be
Figure 2: An illustration of the proposed graph-based process including a graph attention layer and a graph pooling layer for an input graph with 4 nodes. $\textrm{h}_{n}\in\mathbb{R}^{d}$ represents the node representation $n\in N$ . The graph attention layer estimates attention weights $\alpha$ be

더 나은 연구,지금 바로 시작하세요

논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.

카드 등록 없음 · 무료 플랜 제공

이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.