[論文レビュー] ASSERT: Anti-Spoofing with Squeeze-Excitation and Residual neTworks

Cheng-I Lai, Nanxin Chen+2 more|arXiv (Cornell University)|Apr 1, 2019

Speech Recognition and Synthesis参考文献 33被引用数 18

ひとこと要約

ASSERTは、テキスト音声合成、音声変換、リプレイ攻撃を検出するため、squeeze-excitationおよび残差ネットワークを用いたDNNベースの不正利用防止システムを提案する。特徴工学の最適化、モデルアーキテクチャ、アンサンブル統合を通じて、ASVspoof 2019 PAサブチャレンジでt-DCFおよびEERにおいて93%以上の相対的改善を達成し、LAでは17%の改善を示した。それぞれ3位および14位の順位を獲得した。

ABSTRACT

We present JHU's system submission to the ASVspoof 2019 Challenge: Anti-Spoofing with Squeeze-Excitation and Residual neTworks (ASSERT). Anti-spoofing has gathered more and more attention since the inauguration of the ASVspoof Challenges, and ASVspoof 2019 dedicates to address attacks from all three major types: text-to-speech, voice conversion, and replay. Built upon previous research work on Deep Neural Network (DNN), ASSERT is a pipeline for DNN-based approach to anti-spoofing. ASSERT has four components: feature engineering, DNN models, network optimization and system combination, where the DNN models are variants of squeeze-excitation and residual networks. We conducted an ablation study of the effectiveness of each component on the ASVspoof 2019 corpus, and experimental results showed that ASSERT obtained more than 93% and 17% relative improvements over the baseline systems in the two sub-challenges in ASVspooof 2019, ranking ASSERT one of the top performing systems. Code and pretrained models will be made publicly available.

研究の動機と目的

• リプレイ、TTS、音声変換を含む多様な不正利用攻撃を検出可能な、強力なDNNベースの不正利用防止パイプラインの開発。
• 物理的および論理的アクセスの両状況において、squeeze-excitationおよび残差ネットワークの変種が不正利用検出にどの程度有効であるかの調査。
• ASVspoof 2019ベンチマークにおける汎化性および性能の向上を目的とした、特徴工学、ネットワークアーキテクチャ、システム統合戦略の最適化。
• GMMおよびi-vectorモデルなどのベースラインシステムを上回る性能を、PAおよびLAサブチャレンジのt-DCFおよびEERの観点で達成すること。
• 今後の不正利用防止分野の研究を支援するため、公開可能なコードベースおよび事前学習済みモデルの提供。

提案手法

• CMVNや音声活動検出を用いない、定常Qケプストラル係数（CQCC）およびログパワー絶対スペクトル（logspec）を低レベル音声特徴として採用。
• 発話文を400フレームの倍数に拡張し、200フレームのオーバーラップを用いてセグメント化することで、DNNへの入力用に統合的特徴マップを構築。
• squeeze-excitationモジュールを用いた特徴再キャリブレーションを実装した、SENNet34、SENNet50、Mean-Std ResNet、Dilated ResNet、Attentive-Filtering Networkに基づくDNNモデルを設計。
• 開発セットの精度に基づくモデル選択を採用し、EERではなく、バイナリクロスエントロピー損失を用いてモデルを訓練。
• SENNet34、Mean-Std ResNet、Dilated ResNetを含む5つの単一システムを、エアリー統合およびレイト統合戦略を用いて統合し、耐性を向上。
• DNN実装にはPyTorch、特徴抽出にはKaldiを用い、データオーグメンテーションや外部データの使用は一切行わない。

実験結果

リサーチクエスチョン

• RQ1 ASVspoof 2019チャレンジにおいて、リプレイ、TTS、VCを含む複数の攻撃タイプに対して、squeeze-excitationおよび残差ネットワークの変種は、不正利用検出にどの程度有効であるか？
• RQ2 CQCCとlogspecの異なる特徴表現、および統合的マップ（オーバーラップあり）と全発話入力の特徴工学戦略が、不正利用防止性能に与える影響は何か？
• RQ3 トレーニング目的（バイナリ vs. マルチタスク）およびモデル選択基準（EER vs. 精度）が、最終的なシステム性能に与える影響は？
• RQ4 複数のDNNモデルのアンサンブル統合は、PAおよびLAサブチャレンジの未観測データに対する汎化性および耐性をどの程度向上させるか？
• RQ5 GMMおよびi-vectorシステムなどの従来のベースラインと比較して、提案されたDNNベースのシステムは、t-DCFおよびEERの観点でどの程度優れているか？

主な発見

• PAサブチャレンジの評価セットにおいて、ASSERTはCQCC-GMMベースラインに対してt-DCFで93%、EERで94%の相対的改善を達成した。
• LAサブチャレンジでは、主システムがLFCC-GMMベースラインに対してt-DCFで27%、EERで17%の相対的改善を達成した。
• 最良の単一システムである、logspecおよび200フレームオーバーラップを用いた統合的特徴マップを有するSENNet34は、PAのt-DCFおよびEERにおいて、それぞれ92%および94%の相対的改善をベースラインすべてを上回った。
• システムはPAサブチャレンジで3位、LAサブチャレンジで14位を達成し、優れた汎化性および耐性を示した。
• 統合的特徴マップとオーバーラップを用いた特徴工学は、全発話または非オーバーラップセグメント手法と比較して、性能を顕著に向上させた。
• アブレーションスタディの結果、logspecがCQCCを上回り、EERに基づく選択ではなく精度に基づく選択がより優れた結果をもたらしたことが確認された。