[論文レビュー] The DKU Replay Detection System for the ASVspoof 2019 Challenge: On Data Augmentation, Feature Representation, Classification, and Fusion

Weicheng Cai, Haiwei Wu+2 more|arXiv (Cornell University)|Jul 5, 2019

Speech Recognition and Synthesis参考文献 30被引用数 7

ひとこと要約

本論文は、ASVspoof 2019チャレンジ向けにDKU再放送検出システムを提示する。このシステムは、速度変更によるデータ拡張、位相ベースのグループ遅延グラム特徴量、および残差畳み込みニューラルネットワーク分類器を用いた発話単位の深層学習フレームワークを活用している。モデル融合を用いることで、開発セットではEERが0.24%、評価セットでは0.66%に達し、物理的アクセスシナリオにおける再放送スプーフィング対策として最先端の性能を示した。

ABSTRACT

This paper describes our DKU replay detection system for the ASVspoof 2019 challenge. The goal is to develop spoofing countermeasure for automatic speaker recognition in physical access scenario. We leverage the countermeasure system pipeline from four aspects, including the data augmentation, feature representation, classification, and fusion. First, we introduce an utterance-level deep learning framework for anti-spoofing. It receives the variable-length feature sequence and outputs the utterance-level scores directly. Based on the framework, we try out various kinds of input feature representations extracted from either the magnitude spectrum or phase spectrum. Besides, we also perform the data augmentation strategy by applying the speed perturbation on the raw waveform. Our best single system employs a residual neural network trained by the speed-perturbed group delay gram. It achieves EER of 1.04% on the development set, as well as EER of 1.08% on the evaluation set. Finally, using the simple average score from several single systems can further improve the performance. EER of 0.24% on the development set and 0.66% on the evaluation set is obtained for our primary system.

研究の動機と目的

• 発話単位の深層学習を用いて、物理的アクセスシナリオにおける再放送攻撃に対する耐性のあるスプーフィング対策システムを開発すること。
• データ拡張、特徴表現、分類器設計の影響がスプーフィング検出性能に与える影響を調査すること。
• 多様な特徴量と拡張戦略を用いて訓練された複数のシステムを統合することで、一般化性能と耐性を向上させること。
• 可変長入力処理を可能にするエンド・トゥ・エンドの深層学習を活用し、CQCC-GMMベースラインを上回ること。
• 再放送検出において、マグニチュードベースの特徴量よりも位相ベースの特徴量（例：グループ遅延グラム）が優れていることを検証すること。

提案手法

• 可変長の特徴シーケンスを直接処理する発話単位の深層ニューラルネットワーク（DNN）フレームワークを採用し、推論時に切り捨てやパディングを回避する。
• 分類器として残差畳み込みニューラルネットワーク（ResNet）を採用し、ASVspoof 2019の学習セットからエンド・トゥ・エンドでスクラッチから訓練する。
• 複数のフロントエンド特徴表現を評価：CQCC、LFCC、IMFCC、STFTグラム、およびグループ遅延グラム（GDグラム）。GDグラムは位相スペクトルから導出される。
• 音声波形に対して速度変更によるデータ拡張を実施し、学習データの多様性を高め、一般化性能を向上させる。
• 複数の単一システムのスコアを平均化することでモデル統合を実装し、耐性と性能を向上させる。
• 学習プロセスでは可変長シーケンスを用いた動的ミニバッチを採用し、最終スコアは本物出力ユニットから導出する。

実験結果

リサーチクエスチョン

• RQ1 可変長入力処理を伴う発話単位の深層学習は、フレーム単位の平均化と比較して、再放送検出においてどのように異なるか？
• RQ2 マグニチュードベース（例：STFTグラム）と位相ベース（例：GDグラム）の特徴表現のうち、どちらが再放送スプーフィング検出において優れた性能を示すか？
• RQ3 速度変更をデータ拡張戦略として用いることで、一般化性能がどの程度向上し、EERが低下するか？
• RQ4 異なる特徴量と拡張戦略を用いて訓練されたシステムのモデル統合により、EERはさらに低下し、耐性は向上するか？
• RQ5 本研究で提示されたシステムは、ASVspoof 2019チャレンジの開発セットと評価セットの両方において、どのように一般化するか？

主な発見

• 位相スペクトルから導出されるGDグラム特徴表現は、全評価特徴量の中で最高の性能を示し、ResNetを用いた場合、開発セットでのEERは1.81%に達した。
• 速度変更によるデータ拡張により、GDグラム–ResNetシステムのEERは、開発セットで1.81%から1.03%に48%低下した。
• 最良の単一システムは、速度変更を施したGDグラム特徴量とResNetを組み合わせ、評価セットでEER 1.08%を達成した。
• 複数システムのスコアを単純平均で統合することで、開発セットではEERが0.24%、評価セットでは0.66%に低下し、優れた一般化性能を示した。
• 開発セットと評価セットの間の性能差が極めて小さく、提示されたシステムの高い耐性と信頼性を示している。
• エンド・トゥ・エンドで訓練された発話単位のDNNフレームワークは、従来のCQCC特徴量を用いたGMM分類器（同開発セットで9.87%のEER）を上回る性能を示した。