[論文レビュー] SASV Challenge 2022: A Spoofing Aware Speaker Verification Challenge Evaluation Plan

Jee-weon Jung, Hemlata Tak+8 more|arXiv (Cornell University)|Jan 25, 2022

Speech Recognition and Synthesis被引用数 16

ひとこと要約

本論文は、スプーフィング対策対策（CM）と自動発話者認証（ASV）を同時に最適化する統合システムを評価する、SASV Challenge 2022を紹介する。エナサンブルとエンド・トゥ・エンドモデルを用いた統一フレームワークを提案し、スプーフィングおよび模倣者発話の両方を同時に検出する。バックエンド・モデル・アンサンブル戦略を用いて、開発セットでSASV-EER 1.2%を達成した。

ABSTRACT

ASV (automatic speaker verification) systems are intrinsically required to reject both non-target (e.g., voice uttered by different speaker) and spoofed (e.g., synthesised or converted) inputs. However, there is little consideration for how ASV systems themselves should be adapted when they are expected to encounter spoofing attacks, nor when they operate in tandem with CMs (spoofing countermeasures), much less how both systems should be jointly optimised. The goal of the first SASV (spoofing-aware speaker verification) challenge, a special sesscion in ISCA INTERSPEECH 2022, is to promote development of integrated systems that can perform ASV and CM simultaneously.

研究の動機と目的

• ASVとCM研究コミュニティの間のギャップを埋めるために、単一のチャレンジフレームワーク内で両者の目的を統合する。
• ゼロエフォート・モニターおよびスプーフィング攻撃（例：TTS、VC、リプレイ）に対する発話者認証システムの頑健性を向上させる。
• 発話者とスプーフィング対策埋め込みを組み合わせたアンサンブルモデルの開発を促進し、マルチタスク学習を用いた単一統合モデルを推奨する。
• SASV-EER、SV-EER、SPF-EERの3つのEER指標を用いた標準化された評価プロトコルを確立し、システムの信頼性を包括的に評価する。

提案手法

• 2つの処理パイプラインを提案する：(1) 別々に事前学習されたASVおよびCMサブシステムを用いたアンサンブルソリューション、(2) マルチタスク目的でエンド・トゥ・エンドに訓練された統合単一システム。
• ASVのコサイン類似度スコアとCMシステムのDNNソフトマックススコアを組み合わせたスコア・サム・アンサンブルを用いる。
• バックエンド・モデル・アンサンブル（Baseline2）を実装し、3つの入力を使用する：登録時のASV埋め込み、テスト時のASV埋め込み、テスト時のCM埋め込み。3層のMLPを用いる。
• ASVspoof 2019 LAのトレーニングパーティションでモデルを学習し、開発および評価プロトコルで評価する。
• 深層ニューラルネットワークに二重出力ヘッドを用いたマルチタスク学習を適用する：1つは発話者識別、もう1つはスプーフィング検出。
• SASV-EER、SV-EER、SPF-EERの計算に使用する統一プロトコルを採用し、ターゲット、ノンターゲット、スプーフィング試行を含む。

実験結果

リサーチクエスチョン

• RQ1 ASVとCMサブシステムの統合的最適化は、個別にCMを開発する場合と比較して、システムの頑健性を顕著に向上させるか？
• RQ2 発話者とスプーフィング対策埋め込みを組み合わせたアンサンブルモデルの性能は、単一統合モデルと比べてどうか？
• RQ3 バックエンド・モデルにおけるスコア統合は、別々のASVおよびCMシステムからのキャリブレーション不全スコアが引き起こすEERの劣化をどの程度軽減するか？
• RQ4 1試行あたり複数の登録発話を利用することで、システム性能およびキャリブレーションにどのような影響があるか？
• RQ5 統合システムにおいて、開発セットと評価セットの両方で、3つのEER指標（SASV-EER、SV-EER、SPF-EER）の相関関係はどの程度か？

主な発見

• バックエンド・モデル・アンサンブル（Baseline2）は、開発セットでSASV-EER 1.2%を達成し、スコア・サム・アンサンブル法を上回った。
• スコア・サム・アンサンブル法は、ASVおよびCMシステムからのキャリブレーション不全スコアによってEERが劣化する傾向を示し、統合戦略の必要性を浮き彫りにした。
• 本チャレンジの文脈で初めて採用された評価プロトコルにより、統合ASV-CMシステムの一貫性のある比較が可能になった。
• 1試行あたり複数の登録発話を用いることで、埋め込みの安定性とシステムのキャリブレーションが向上し、特にアンサンブル構成で顕著であった。
• SASV-EER指標は、併存する模倣者およびスプーフィング脅威下でのシステム信頼性を効果的に捉えており、統一された性能指標を提供する。
• チャレンジフレームワークは、参加者が統合システムを訓練および評価できるようにし、結果はチャレンジ後、公開された。