[論文レビュー] Synthetic speech detection using meta-learning with prototypical loss

Monisankha Pal, Aditya Raikar+2 more|arXiv (Cornell University)|Jan 24, 2022

Speech Recognition and Synthesis被引用数 5

ひとこと要約

本論文は、合成音声検出のためのメタラーニングアプローチを提案し、プロトタイプ損失を用い、SE-ResNet34バックボーンを採用することで、未観測のスプーフィング攻撃への一般化性能を向上させた。この手法は、ASVspoof 2021チャレンジのベースライン比でmin-tDCFに3.6%の相対的改善を達成し、データ拡張なしでも強力な性能を示した。

ABSTRACT

Recent works on speech spoofing countermeasures still lack generalization ability to unseen spoofing attacks. This is one of the key issues of ASVspoof challenges especially with the rapid development of diverse and high-quality spoofing algorithms. In this work, we address the generalizability of spoofing detection by proposing prototypical loss under the meta-learning paradigm to mimic the unseen test scenario during training. Prototypical loss with metric-learning objectives can learn the embedding space directly and emerges as a strong alternative to prevailing classification loss functions. We propose an anti-spoofing system based on squeeze-excitation Residual network (SE-ResNet) architecture with prototypical loss. We demonstrate that the proposed single system without any data augmentation can achieve competitive performance to the recent best anti-spoofing systems on ASVspoof 2019 logical access (LA) task. Furthermore, the proposed system with data augmentation outperforms the ASVspoof 2021 challenge best baseline both in the progress and evaluation phase of the LA task. On ASVspoof 2019 and 2021 evaluation set LA scenario, we attain a relative 68.4% and 3.6% improvement in min-tDCF compared to the challenge best baselines, respectively.

研究の動機と目的

• 未観測の攻撃に対する合成音声スプーフィング検出システムの一般化の欠如に対処すること。
• VoIPや固定回線コーデックなどの多様な伝送条件下での不正検出モデルのロバストネスを向上させること。
• スプーフィング対策におけるメタラーニング枠組み内でのプロトタイプ損失の有効性を検証すること。
• 特にコーデックおよびピッチリバーブ拡張を含むデータ拡張戦略の影響が、モデルの一般化に与える影響を調査すること。
• 複数のサブシステムを統合するスコアレベルのファージョン機構を構築し、性能を向上させること。

提案手法

• ボナファイドおよびスプーフィング音声のクラスプロトタイプを学習するため、プロトタイプ損失を用いたメタラーニングフレームワーク内でプロトネットを訓練する。
• 平均プーリングを用いて注意機構ベースのプーリングと比較して過学習を低減する、SE-ResNet34-avgを埋め込み抽出器として使用する。
• ASVspoof 2019データにalawおよびG722を用いたコーデック拡張を適用し、ASVspoof 2021のチャネル条件を模擬する。
• WavAugmentを用いた時間領域のデータ拡張を実装し、ランダムなピッチシフトおよび部屋のリバーブを含む。
• BOSARISツールキットを用いてスコアレベルのファージョンを実装し、ASVspoof 2019の開発セット上でファージョン重みを最適化する。
• 最終意思決定には、テスト埋め込みとクラスプロトタイプ間のテンプレートマッチングを実装する。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングフレームワーク内でのプロトタイプ損失は、合成音声検出における未観測のスプーフィング攻撃への一般化を向上させることができるか？
• RQ2 本手法のプロトタイプ損失は、従来の分類損失（例：OC-Softmax）やメトリック学習損失（例：コントラスト、トリプルット）と比較して、スプーフィング検出においてどのように差をつけるか？
• RQ3 コーデックおよびピッチリバーブデータ拡張は、ASVspoof 2021 LAタスクにおけるモデルのロバストネスにどの程度寄与するか？
• RQ4 より単純なモデル（SE-ResNet34-avg）は、より複雑なモデル（SE-ResNet34-atten）と比較して、一般化性能およびmin-tDCFの観点で優れているか？
• RQ5 複数のサブシステムのスコアレベルファージョンは、個々のモデルを上回る検出性能をさらに向上させることができるか？

主な発見

• プロトタイプ損失を用いた本手法は、評価セットにおいてASVspoof 2019チャレンジベースライン比でmin-tDCFに相対的に68.4%の改善を達成した。
• ASVspoof 2021の評価セットでは、min-tDCFがチャレンジの最良ベースライン（LFCC-LCNN）比で3.6%相対的に向上し、EERが2.5%改善された。
• SE-ResNet34-avgモデルはSE-ResNet34-attenを上回り、この設定では注意プーリングが過学習を引き起こす可能性があることを示唆している。
• コーデック拡張（alawおよびG722）により、進捗フェーズでmin-tDCFが0.3329から0.3058に、評価フェーズで0.3545から0.3412に低下した。
• ピッチリバーブ拡張は単独で性能向上をもたらすが、コーデック拡張と組み合わせると結果が劣化する傾向にあり、これは不要な情報が含まれる可能性を示唆している。
• 異なる特徴量および損失関数を用いた4つのサブシステムのスコアレベルファージョンにより、min-tDCF = 0.3320、EER = 9.03の最良の提出が達成され、ASVspoof 2021チャレンジで全体18位となった。