[論文レビュー] SASV 2022: The First Spoofing-Aware Speaker Verification Challenge

Jee-weon Jung, Hemlata Tak+7 more|arXiv (Cornell University)|Mar 28, 2022

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本論文は、合成音声や改ざんされた音声によるスプーフィング攻撃に耐性を持つ統合的で共同最適化されたスプーフィング認識型発話者認証システムを促進する初のチャレンジ、SASV 2022を紹介する。最良のシステムは等誤差率（EER）を0.13%にまで低下させ、従来の発話者認証システムのEER 23.83%を99%以上削減した。これは、分離型システムよりも統合型ソリューションの有効性を示している。

ABSTRACT

The first spoofing-aware speaker verification (SASV) challenge aims to integrate research efforts in speaker verification and anti-spoofing. We extend the speaker verification scenario by introducing spoofed trials to the usual set of target and impostor trials. In contrast to the established ASVspoof challenge where the focus is upon separate, independently optimised spoofing detection and speaker verification sub-systems, SASV targets the development of integrated and jointly optimised solutions. Pre-trained spoofing detection and speaker verification models are provided as open source and are used in two baseline SASV solutions. Both models and baselines are freely available to participants and can be used to develop back-end fusion approaches or end-to-end solutions. Using the provided common evaluation protocol, 23 teams submitted SASV solutions. When assessed with target, bona fide non-target and spoofed non-target trials, the top-performing system reduces the equal error rate of a conventional speaker verification system from 23.83% to 0.13%. SASV challenge results are a testament to the reliability of today's state-of-the-art approaches to spoofing detection and speaker verification.

研究の動機と目的

• 合成音声や改ざんされた音声を用いたスプーフィング攻撃に対して耐性を持つ信頼性の高い発話者認証システムの増大するニーズに対応する。
• ASVspoofチャレンジがスプーフィング検出と発話者認証を別々に最適化する独立したシステムとして扱うという限界を克服する。
• 発話者本人の特定と発話の真正性の両方を同時に評価する統合的かつ共同最適化されたソリューションの開発を促進し、セキュリティと使いやすさの両方を向上させる。
• ASVspoof 2019 LAデータベースを用いて、公平な比較と再現可能性を可能にする共通の評価プロトコルとベンチマークを確立する。
• 事前学習済みのASVおよびスプーフィング対策（CM）モデルの統合、またはエンド・ツー・エンドの統合によって、従来のシステムよりも顕著に低い誤差率を達成できることを示す。

提案手法

• 実際のスプーフィング状況下でのシステム信頼性を評価するため、ターゲット試行、本物の非ターゲット試行、スプーフィングされた非ターゲット試行を含む新しい評価プロトコルを導入する。
• 発話者認証（ECAPA-TDNN）およびスプーフィング検出（ASVspoof 2019に基づく）のオープンソース事前学習モデルを提供し、参加者が最先端の既存コンponentsを基盤に構築できるようにする。
• 2つのソリューション戦略を支援する：(1) スコア、意思決定、または埋め込みレベルでの独立したASVおよびCMシステムのバックエンド統合；(2) 発話者およびスプーフィング分類を統合的に学習する1つのモデルのエンド・ツー・エンド訓練。
• 最小タンドム検出コスト関数（min t-DCF）を主な指標として採用し、ASVおよびCMシステムの統合的性能を統一フレームワークで評価する。
• 複数のシステムを組み合わせることを許可することでアンサンブル手法を実装し、一部のチームはスコア正規化および品質に配慮した特徴を用いて耐性を向上させた。
• ASVspoof 2019ロジカルアクセス（LA）データベースを用いて、開発および評価用の分割を共通化し、提出物間の整合性と再現可能性を確保する。

実験結果

リサーチクエスチョン

• RQ1 共同最適化または統合された発話者認証およびスプーフィング対策システムは、従来の別々に最適化されたシステムよりも顕著に低い誤差率を達成できるか？
• RQ2 スプーフィングされた非ターゲット試行の割合が異なる場合、スプーフィング認識型発話者認証の性能はどのように変化するか？また、スプーフィングの事前確率が変化してもシステムは耐性を示すか？
• RQ3 事前学習済みのASVおよびCMモデルのスコアレベル、意思決定レベル、または埋め込みレベルでの統合は、全体のシステム信頼性をどの程度向上させられるか？
• RQ4 発話者本人の識別とスプーフィングの兆候の両方を共有の潜在空間で学習するエンド・ツー・エンド統合モデルは、モジュラー統合手法を上回る性能を示せるか？
• RQ5 スコア正規化にメタ特徴（例：音声の持続時間）を用いることで、多様な試行条件下でのシステム耐性は向上するか？

主な発見

• 最良のシステムはスプーフィング認識型等誤差率（SASV-EER）を0.13%に達成し、従来の発話者認証EER 23.83%から99.45%の削減を実現した。
• 上位3つのシステムすべてが独立したASVおよびCMサブシステムのアンサンブル統合を採用しており、最良のシステムはスコアレベル統合と品質に配慮した正規化を用いた。
• 最良のシステムのDET曲線は他のすべてのシステムを下回っており、さまざまな運用ポイントにおいて誤認証と誤拒否のトレードオフが優れていることを示している。
• システムはSV-EERとSPF-EERの両方で同程度に低い値を示しており、スプーフィングされた非ターゲット試行の割合に依存しないことを示しており、異なるスプーフィング事前確率に対しても耐性があると示唆している。
• 結果は、統合型ソリューションが、スプーフィング試行にさらされない従来の発話者認証システムですら顕著に上回ることを示している。
• 強力な性能を示したが、すべての上位システムは依然として独立したASVおよびCMコンponentsのアンサンブルに過ぎず、真正のエンド・ツー・エンド統合モデルは今後の研究における未解決の課題のままである。