[論文レビュー] Investigating self-supervised front ends for speech spoofing countermeasures

Xin Wang, Junichi Yamagishi|arXiv (Cornell University)|Nov 15, 2021

Speech Recognition and Synthesis被引用数 12

ひとこと要約

本稿では、自己教師あり音声モデルを音声スプーフィング対策（CM）のフロントエンドとして用いることを検討し、事前学習済みの HuBERT や Wav2vec 2.0 モデルをシンプルなバックエンドで微調整することで、複数の ASVspoof ベンチマークで最先端の一般化性能を達成することを示している。CMは、従来の LFCC ベースのベースラインと比較して、特に未観測のスプーフィング攻撃に対して優れている。これは、0.1–2.4 kHz の低周波数言語的特徴に依存しており、従来手法が用いる高周波数の特徴よりも、より頑健で一般化性に優れているためである。

ABSTRACT

Self-supervised speech model is a rapid progressing research topic, and many pre-trained models have been released and used in various down stream tasks. For speech anti-spoofing, most countermeasures (CMs) use signal processing algorithms to extract acoustic features for classification. In this study, we use pre-trained self-supervised speech models as the front end of spoofing CMs. We investigated different back end architectures to be combined with the self-supervised front end, the effectiveness of fine-tuning the front end, and the performance of using different pre-trained self-supervised models. Our findings showed that, when a good pre-trained front end was fine-tuned with either a shallow or a deep neural network-based back end on the ASVspoof 2019 logical access (LA) training set, the resulting CM not only achieved a low EER score on the 2019 LA test set but also significantly outperformed the baseline on the ASVspoof 2015, 2021 LA, and 2021 deepfake test sets. A sub-band analysis further demonstrated that the CM mainly used the information in a specific frequency band to discriminate the bona fide and spoofed trials across the test sets.

研究の動機と目的

• 事前学習済みの自己教師あり音声モデルが、スプーフィング訓練データを必要とせずに、頑健なフロントエンドとして機能できるかどうかを評価すること。
• 自己教師ありフロントエンドを用いる際のバックエンドアーキテクチャの選択が性能に与える影響を調査すること。
• 自己教師ありフロントエンドの微調整が、多様なスプーフィング攻撃タイプおよびテストセットにおける一般化性能を向上させるかどうかを特定すること。
• 自己教師あり CM において、本物の音声とスプーフィング音声を区別するための判別能を持つ周波数帯域を同定すること。

提案手法

• 事前学習済みの自己教師ありモデル（HuBERT および Wav2vec 2.0）をフロントエンドとして用い、生の音声波形からシーケンスレベルの表現を抽出する。
• フロントエンドの出力を、グローバル平均プーリングと全結合層を備えた浅い（LLGF）および深い（LGF、GF）ニューラルネットワークを含む、さまざまなバックエンドアーキテクチャで処理する。
• フロントエンドは固定または、ASVspoof 2019 LA の訓練データセット上でクロスエントロピー損失を用いてエンドツーエンドで微調整する。
• 周波数帯域の寄与を特定するため、バンドストップフィルタを適用して特定の周波数帯域の寄与を分離するサブバンド分析を実施する。
• 性能評価は、ASVspoof 2015、2019 LA、2021 DF の複数のテストセットにおける等誤り率（EER）を用いて行う。
• 自己教師あり CM と、LFCC 特徴と標準的な GF バックエンドを用いたベースラインの比較を実験する。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありフロントエンドと組み合わせた場合、どのバックエンドアーキテクチャがスプーフィング対策において最も効果的か？
• RQ2 事前学習済みの自己教師ありフロントエンドの微調整が、多様なスプーフィング攻撃タイプおよびテストセットにおける一般化性能を向上させるか？
• RQ3 自己教師ありフロントエンドとして、Wav2vec 2.0 や HuBERT などのどの事前学習モデルが最も優れた性能を示すか？
• RQ4 自己教師あり CM において、本物の音声とスプーフィング音声を区別するための判別能を持つ周波数帯域はどれか？
• RQ5 自己教師あり CM の性能は、複数のベンチマークデータセットにおいて、従来の LFCC ベースのベースラインと比較してどうか？

主な発見

• シンプルなバックエンド（平均プーリング + 線形層）で自己教師ありフロントエンドを微調整したところ、ASVspoof 2019 LA テストセットで EER 4.8% を達成し、強力なベースラインと同等の性能を示した。
• 微調整された CM は、ASVspoof 2015、2021 LA、2021 DF のテストセットにおいて、ベースラインを著しく上回り、一部のデータセットでは EER が最大50%まで低下した。
• 自己教師ありフロントエンドを用いた CM は、0.1–2.4 kHz 帯域のバンドストップフィルタリングに対して最も感受性を示し、低周波数の言語的特徴に依存していることを示している。
• LFCC 特徴を用いたベースライン CM は、高周波数帯域（例：5.6–7.2 kHz）のバンドストップフィルタリングに対して非常に感受性が高く、その条件下で EER が 46% まで上昇した。
• 自己教師あり CM はテストセット全体で一貫した性能を示しており、手作業で設計された DSP 特徴よりも、学習された特徴がより一般化可能であることが示唆された。
• サブバンド分析の結果、自己教師あり CM は主に 0.1–2.4 kHz 帯域の情報を使用しており、これは一般化可能な言語的手がかりを含んでいる。一方、ベースラインは高周波数のチャネル固有のアーチファクトに依存していた。