[論文レビュー] Representation Selective Self-distillation and wav2vec 2.0 Feature Exploration for Spoof-aware Speaker Verification

Jin Woo Lee, Eungbeom Kim+2 more|arXiv (Cornell University)|Apr 6, 2022

Speech Recognition and Synthesis参考文献 36被引用数 13

ひとこと要約

本論文は、自己教師付き特徴蒸留を用いた表現選択的自己蒸留（RSSD）により、スプーフ検出と発話者認証を統合することで、より高いスプーフ耐性を達成するスプーフ対応発話者認証（SASV）システムを提案する。wav2vec 2.0ベースの対策ネットワークから得られる分離表現を活用し、SASV Challenge 2022データセットで1.08%の等誤差率（EER）を達成した。これは、ベースラインを上回る性能を発揮した。

ABSTRACT

Text-to-speech and voice conversion studies are constantly improving to the extent where they can produce synthetic speech almost indistinguishable from bona fide human speech. In this regard, the importance of countermeasures (CM) against synthetic voice attacks of the automatic speaker verification (ASV) systems emerges. Nonetheless, most end-to-end spoofing detection networks are black-box systems, and the answer to what is an effective representation for finding artifacts remains veiled. In this paper, we examine which feature space can effectively represent synthetic artifacts using wav2vec 2.0, and study which architecture can effectively utilize the space. Our study allows us to analyze which attribute of speech signals is advantageous for the CM systems. The proposed CM system achieved 0.31% equal error rate (EER) on ASVspoof 2019 LA evaluation set for the spoof detection task. We further propose a simple yet effective spoofing aware speaker verification (SASV) method, which takes advantage of the disentangled representations from our countermeasure system. Evaluation performed with the SASV Challenge 2022 database show 1.08% of SASV EER. Quantitative analysis shows that using the explored feature space of wav2vec 2.0 advantages both spoofing CM and SASV.

研究の動機と目的

• XLSR-53 wav2vec 2.0モデルのどの層が合成音声アーティファクトを検出するのに最も効果的な特徴空間を提供するかを特定すること。
• 最適な自己教師付き特徴を組み合わせた軽量バックエンドモデルが、複雑なアーキテクチャを上回れるかどうかを評価すること。
• 対策ネットワークからの分離表現を活用して、シンプルでありながら効果的なスプーフ対応発話者認証（SASV）システムを構築すること。
• 自己蒸留が、スプーフ対策埋め込みを用いて発話者認証を効果的に強化する方法にどう応用できるかを調査すること。

提案手法

• 研究では、生の音声を高次元の表現に変換するため、マルチリンガルなwav2vec 2.0モデルXLSR-53をフロントエンドの特徴抽出器として使用する。
• XLSR-53の異なるTransformerブロック出力（層1〜17）を評価し、スプーフアーティファクトを最もよく露わにする層を同定する。
• AASISTのような複雑なモデルに代わって、注意型統計プーリング（ASP）層と全結合層を組み合わせたシンプルなバックエンドアーキテクチャを採用し、スプーフと本物の音声を分類する。
• 提案された表現選択的自己蒸留（RSSD）モジュールは、スプーフ対策埋め込みを用いて発話者埋め込みを選択的に変調することで、発話者認証とスプーフ検出の両方を統合最適化可能にする。
• RSSDフレームワークは、ゲーティング機構と学習可能な変換層を用い、スプーフの可能性に基づいて発話者埋め込みを適応的に精緻化する。
• 本システムは、発話者認証にコントラスト損失、スプーフ検出にバイナリクロスエントロピー損失を用いてエンドツーエンドで学習され、両タスクの統合最適化が可能になった。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みXLSR-53 wav2vec 2.0モデルのどの層が、合成音声アーティファクトを検出するのに最も判別力のある表現を生成するか？
• RQ2 wav2vec 2.0からの最適な自己教師付き特徴を用いた場合、ASPやMLPのようなシンプルなバックエンドモデルが、AASISTのような複雑なモデルを上回れるか？
• RQ3 対策ネットワークからの分離表現を効果的に活用できるスプーフ対応発話者認証システムは、どのように設計できるか？
• RQ4 表現選択的自己蒸留は、スプーフ攻撃下での発話者認証の耐性をどの程度向上できるか？

主な発見

• XLSR-53の5番目の層が、スプーフ検出に最も効果的な特徴表現を提供し、ASVspoof 2019 LA評価セットで0.31%の最低等誤差率（EER）を達成した。
• XLSR-53をフロントエンドとして使用するASPバックエンドは、AASISTやMLPを上回り、0.3%のEERを達成した。これは、自己教師付き特徴における注意プーリングの有効性を示している。
• 提案されたRSSDベースのSASVシステムは、SASV Challenge 2022データセットで1.08%のEERを達成し、AASISTやsinc-畳み込みフロントエンドを用いたベースラインシステムを顕著に上回った。
• t-SNE可視化では、XLSR-ASPモデルの埋め込みが、本物とスプーフの発話間の分離性が優れており、TTSやVCのような異なる攻撃タイプ間の区別も可能であった。
• 研究では、最適な自己教師付き特徴抽出器と組み合わせたシンプルなバックエンド（ASP）が、複雑なバックエンドを上回ることを確認した。これは、特徴の質がモデルの複雑さよりも重要であることを示唆している。
• RSSDモジュールは、スプーフ対策出力に基づいて発話者埋め込みを選択的に変調することで、発話者認証性能を著しく向上させ、低計算コストで最先端の結果を達成した。