[論文レビュー] End-to-End Spectro-Temporal Graph Attention Networks for Speaker Verification Anti-Spoofing and Speech Deepfake Detection

Hemlata Tak, Jee-weon Jung+4 more|arXiv (Cornell University)|Jul 27, 2021

Speech Recognition and Synthesis参考文献 58被引用数 8

ひとこと要約

本稿では、音声合成偽造検出およびスプーフィング攻撃検出のため、生波形から直接スペクトルサブバンドと時間的セグメント間の判別的関係を学ぶ、完全にエンドツーエンドのスペクトル時間的グラフアテンションネットワーク、RawGAT-STを提案する。モデルレベルのスペクトル的および時間的アテンションの統合と、新規のグラフプーリング戦略を用いることで、ASVspoof 2019ロジカルアクセスデータセットで1.06%の最先端の等誤差率（EER）を達成した。

ABSTRACT

Artefacts that serve to distinguish bona fide speech from spoofed or deepfake speech are known to reside in specific subbands and temporal segments. Various approaches can be used to capture and model such artefacts, however, none works well across a spectrum of diverse spoofing attacks. Reliable detection then often depends upon the fusion of multiple detection systems, each tuned to detect different forms of attack. In this paper we show that better performance can be achieved when the fusion is performed within the model itself and when the representation is learned automatically from raw waveform inputs. The principal contribution is a spectro-temporal graph attention network (GAT) which learns the relationship between cues spanning different sub-bands and temporal intervals. Using a model-level graph fusion of spectral (S) and temporal (T) sub-graphs and a graph pooling strategy to improve discrimination, the proposed RawGAT-ST model achieves an equal error rate of 1.06 % for the ASVspoof 2019 logical access database. This is one of the best results reported to date and is reproducible using an open source implementation.

研究の動機と目的

• スプーフィング攻撃の多様性に直面する話者認証における検出課題を、スペクトル的および時間的ドメインの両方における判別的アーティファクトをモデル化することで解決すること。
• 従来のモデルが手作業で特徴を設計するか、スコアの後段融合に依存するという限界を克服し、生波形からのエンドツーエンド学習を可能にすること。
• グラフニューラルネットワークを用いたモデルアーキテクチャ内でスペクトル的および時間的アテンションメカニズムを統合することで、検出性能を向上させること。
• グラフ次元を削減しながらも重要な特徴を保持する、新規のグラフプーリング戦略により、判別性能を向上させること。
• 個別のスペクトル的または時間的モデルのスコア統合と比較して、統合的でエンドツーエンドのアプローチの優位性を示すこと。

提案手法

• モデルは、生波形表現を直接抽出するための1次元sinc畳み込み層を用い、MFCCやスペクトログラムなどの手作業特徴量の必要性を排除する。
• スペクトル的アテンション（S）と時間的アテンション（T）の2つの別々のサブグラフを構築し、それぞれサブバンドまたは時間セグメントを表すノード間の関係をモデル化する。
• スペクトル時間的グラフアテンションネットワーク（GAT-ST）は、SおよびTサブグラフをモデルレベルで統合し、両ドメインにおける補完的特徴の共同学習を可能にする。
• グラフアテンション機構は、ノードペair間の学習可能なアテンション重みを計算し、特徴を次元を低くした表現に集約することで、判別性能を向上させる。
• 新規のグラフプーリング戦略により、最も情報量の多い特徴を選択することでノード数を削減し、モデルのロバスト性と性能を向上させる。
• 自己アテンション機構を用いてエンドツーエンドで訓練し、動的に判別的スペクトル的および時間的領域を強調する。

Figure 1: The proposed RawGAT-ST model architecture. The top-left spectral attention block captures discriminative spectral information. The top-right temporal attention block captures discriminative temporal information. Fusion is performed at the model level (middle ellipse). The bottom block comp

実験結果

リサーチクエスチョン

• RQ1 スペクトル的および時間的関係を統合的にモデル化するエンドツーエンドの統合的モデルは、個別のモデルやスコアの後段統合戦略を上回る性能を発揮できるか？
• RQ2 生波形から直接表現を学習することは、手作業で特徴を設計する手法と比較して、検出性能を向上させるか？
• RQ3 グラフニューラルネットワークアーキテクチャ内でスペクトル的および時間的アテンションをモデルレベルで統合することは、スコアレベル統合と比較して性能および一般化性能にどのように寄与するか？
• RQ4 グラフプーリングは、最も情報量の多いスペクトル時間的特徴に注目することで、どの程度判別性能を向上させるか？
• RQ5 複雑なアーキテクチャや外部特徴工学を一切用いずに、1つの軽量モデルが多様なスプーフィング攻撃に対して最先端の性能を達成できるか？

主な発見

• RawGAT-STは、ASVspoof 2019ロジカルアクセスデータセットで1.06%の等誤差率（EER）を達成し、これまでに報告された最高の結果の一つである。
• アブレーションスタディの結果、スペクトル的アテンションを削除するとEERは1.87%に上昇し、時間的アテンション単体よりもその重要性が顕著に示された。
• グラフプーリングを導入することで、プーリングなしの2.47%から1.06%にEERが低下し、性能向上に大きな寄与があることが実証された。
• 従来のスコアの後段統合（ResNet18-GAT-T）と比較して、min-tDCFで63%、EERで77%の改善を達成し、モデルレベル統合の利点が明確に示された。
• パラメータ数がわずか0.44百万個であるにもかかわらず、多くの既存モデル（複雑なアーキテクチャや手作業特徴量を用いるものも含む）を上回る性能を発揮した。
• 生波形に直接処理を行うモデルは、RawGAT-STを含め2系統（もう1つはRes-TSSDNet）に限られ、このタスクにおけるエンドツーエンド学習の利点を裏付けるものである。

Figure 2: An illustration of the proposed graph-based process including a graph attention layer and a graph pooling layer for an input graph with 4 nodes. $\textrm{h}_{n}\in\mathbb{R}^{d}$ represents the node representation $n\in N$ . The graph attention layer estimates attention weights $\alpha$ be