[論文レビュー] t-DCF: a Detection Cost Function for the Tandem Assessment of Spoofing Countermeasures and Automatic Speaker Verification

Tomi Kinnunen, Kong Aik Lee+6 more|arXiv (Cornell University)|Apr 25, 2018

Speech Recognition and Synthesis被引用数 5

ひとこと要約

本稿では、自動発話者認証（ASV）と併せてスプーフィング対策（CM）を評価するためのトレーニング検出コスト関数（t-DCF）を提案する。EERを用いた孤立したCM評価の限界を克服し、ターゲット、ノンターゲット、スプーフィング試行の事前確率を組み込むことで、ベイズ最適な指標を提供する。これは、現実世界のASV性能をより的確に反映し、高いスプーフィング事前確率下でCM間の順位に顕著な差が生じることを明らかにした。これにより、将来のバイオメトリクスのスプーフィング対策評価においてt-DCFの採用が支持される。

ABSTRACT

The ASVspoof challenge series was born to spearhead research in anti-spoofing for automatic speaker verification (ASV). The two challenge editions in 2015 and 2017 involved the assessment of spoofing countermeasures (CMs) in isolation from ASV using an equal error rate (EER) metric. While a strategic approach to assessment at the time, it has certain shortcomings. First, the CM EER is not necessarily a reliable predictor of performance when ASV and CMs are combined. Second, the EER operating point is ill-suited to user authentication applications, e.g. telephone banking, characterised by a high target user prior but a low spoofing attack prior. We aim to migrate from CM- to ASV-centric assessment with the aid of a new tandem detection cost function (t-DCF) metric. It extends the conventional DCF used in ASV research to scenarios involving spoofing attacks. The t-DCF metric has 6 parameters: (i) false alarm and miss costs for both systems, and (ii) prior probabilities of target and spoof trials (with an implied third, nontarget prior). The study is intended to serve as a self-contained, tutorial-like presentation. We analyse with the t-DCF a selection of top-performing CM submissions to the 2015 and 2017 editions of ASVspoof, with a focus on the spoofing attack prior. Whereas there is little to choose between countermeasure systems for lower priors, system rankings derived with the EER and t-DCF show differences for higher priors. We observe some ranking changes. Findings support the adoption of the DCF-based metric into the roadmap for future ASVspoof challenges, and possibly for other biometric anti-spoofing evaluations.

研究の動機と目的

• ASVとは独立してスプーフィング対策（CM）を評価するEERの欠点を是正すること。これは、システム全体の性能を予測できないためである。
• 不均衡な事前確率を伴う現実的な認証シナリオにおいて、CMとASVの統合的影響を反映する統一指標を開発すること。
• 原理的で解釈可能かつASV中心の評価フレームワークを提供し、CMソリューションの公平な順位付けを可能にすること。
• 将来のバイオメトリクスチャレンジにおいて、CMを独立して評価するのでなく、ASV信頼性に与えるエンドツーエンドの影響を文脈として評価できるようにすること。
• 既存のCM研究と互換性を保ちつつ、CMの開発は独立して行えるが、t-DCFを介してシステムレベルの最適化が可能になるようにすること。

提案手法

• ASVで一般的に用いられる従来の検出コスト関数（DCF）を拡張し、ASVとプラグアンドプレイ式のスプーフィング対策（CM）の共同意思決定プロセスをモデル化する。
• t-DCFを、誤検出と誤認知のコストの重み付き和として定義し、ターゲット（π_tar）、ノンターゲット（π_non）、スプーフィング（π_spoof）の3つの試行事前確率に加え、4番目の暗黙のノンターゲット事前確率を含める。
• t-DCFを以下の式で定式化する：t-DCF = CFA * π_spoof * Pfa + Cmiss * π_tar * Pmiss。ここでPfaとPmissは、すべての試行タイプにわたる偽警報率および見逃し率を表す。
• t-DCFを最小化するようにCMのしきい値を最適化し、与えられた事前確率とコスト仮定下での最小期待コストを反映するようにする。
• ASVspoof 2015および2017の上位CM提出物にt-DCFを適用し、さまざまなスプーフィング事前確率（π_spoof = 0.001, 0.01, 0.05）における性能を評価する。
• t-DCF順位とEERに基づく順位を比較し、事前確率仮定の影響がシステム順位付けと性能予測に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 スプーフィング事前確率が異なる条件下で、t-DCFとEERによるスプーフィング対策（CM）の性能順位はどのように変化するか？
• RQ2 EER指標は、現実世界の設定におけるASVとCMの統合システムの実際のシステムレベル性能をどの程度正しく予測できないか？
• RQ3 t-DCFのような統一的でベイズ最適な指標は、ユーザー認証シナリオにおける意思決定誤りの実際の影響をよりよく反映できるか？
• RQ4 t-DCFを用いて現実的な事前分布下で評価した場合、上位CMは理論上の最適（完全なCM）にどの程度近づいているか？
• RQ5 t-DCFは、将来のバイオメトリクス評価チャレンジにおいて、スプーフィング対策のより信頼性が高く解釈可能なベンチマーク評価を可能にするか？

主な発見

• 低スプーフィング事前確率（π_spoof = 0.001）では、EERとt-DCFによるCM順位は基本的に一致しており、t-DCFスコアの差は最小限にとどまる。
• 高いスプーフィング事前確率（π_spoof = 0.05）では、EERとt-DCFの間で顕著な順位差が生じ、EERの高リスク状況下での予測力の限界を示している。
• ASVspoof 2015において、システムBはπ_spoof = 0.001のときt-DCFが0.1661と最低を記録し、完全なCMベースライン（0.1660）に極めて近い性能を示した。
• ASVspoof 2017では、システムS01がπ_spoof = 0.001のときt-DCFが0.0277と最高を記録し、全事前確率でトップを維持し、他のシステムと明確な差を示した。
• 最良のCMと完全なCMとの間のギャップは測定可能である（例：ASVspoof 2015では0.0001）。これは、現在のCMがまだ最適でないことを確認している。
• 本研究は、特に現実世界の応用（例：電話バンキング）に見られる高ターゲット事前確率・低スプーフィング事前確率の状況下で、EERに比べてt-DCFがより信頼性の高いシステム順位付けを可能にすることを示している。