[論文レビュー] Improving the Adversarial Robustness for Speaker Verification by Self-Supervised Learning

Haibin Wu, Xu Li+4 more|arXiv (Cornell University)|Jun 1, 2021

Speech Recognition and Synthesis被引用数 5

ひとこと要約

本論文は、攻撃手法の事前知識を必要とせずに、敵対的攻撃に対して自動話者認証（ASV）を防御する自己教師あり学習（SSL）ベースの防御手法を提案する。二重のアプローチを導入：敵対的摂動の除去には自己教師ありリフォーマーを用いてクリアな音声を回復させ、敵対的サンプル検出には複数のSSLモデルにおけるASVスコアの統計的分析を実施。検出精度は79.0–83.3%に達し、敵対的FARは67%以上から30%未満に低下した。

ABSTRACT

Previous works have shown that automatic speaker verification (ASV) is seriously vulnerable to malicious spoofing attacks, such as replay, synthetic speech, and recently emerged adversarial attacks. Great efforts have been dedicated to defending ASV against replay and synthetic speech; however, only a few approaches have been explored to deal with adversarial attacks. All the existing approaches to tackle adversarial attacks for ASV require the knowledge for adversarial samples generation, but it is impractical for defenders to know the exact attack algorithms that are applied by the in-the-wild attackers. This work is among the first to perform adversarial defense for ASV without knowing the specific attack algorithms. Inspired by self-supervised learning models (SSLMs) that possess the merits of alleviating the superficial noise in the inputs and reconstructing clean samples from the interrupted ones, this work regards adversarial perturbations as one kind of noise and conducts adversarial defense for ASV by SSLMs. Specifically, we propose to perform adversarial defense from two perspectives: 1) adversarial perturbation purification and 2) adversarial perturbation detection. Experimental results show that our detection module effectively shields the ASV by detecting adversarial samples with an accuracy of around 80%. Moreover, since there is no common metric for evaluating the adversarial defense performance for ASV, this work also formalizes evaluation metrics for adversarial defense considering both purification and detection based approaches into account. We sincerely encourage future works to benchmark their approaches based on the proposed evaluation framework.

研究の動機と目的

• 再現および合成音声攻撃と比較して、まだ十分に検討が進んでいない話者認証システムの敵対的攻撃に対する重大な脆弱性に対処する。
• 攻撃者が使用する特定の敵対的攻撃アルゴリズムを事前に知らなくてもよいASV用の防御機構を開発する。
• 自己教師あり学習モデル（SSLM）のノイズ耐性を活用し、敵対的摂動を浄化し、悪意ある入力を検出する。
• 浄化および検出アプローチを統合した、ASVにおける敵対的防御の標準化された評価フレームワーク（メトリクスを含む）を確立する。
• 複数の攻撃タイプ（FGSM、BIM、JSMA）およびASVシステム（r-vector、x-vector）にわたる防御の一般化を実証する。

提案手法

• 摂動をノイズとみなして、敵対的摂動を含む入力からクリアな音声を再構築する自己教師ありリフォーマー（SSLR）を浄化モジュールとして使用する。
• SSLRを敵対的サンプルで微調整し、真の話者特徴をできるだけ回復させる一方で、クリアなサンプルの劣化を最小限に抑える。
• ASVシステムに複数の連鎖接続されたSSLMを組み合わせた際のASVスコアの統計的分布を分析する検出モジュールを設計する。
• スコア分布から5次のモーメントまでを抽出し、敵対的入力を示す異常を検出する。
• ASVモデルと並列に検出モジュールを統合し、認証の前に敵対的サンプルをフィルタリングする。
• 浄化および検出メトリクスを統合した新しい評価フレームワークを提案し、AdvFAR、AdvFRR、j-FAR、j-FRR、EER_det などのメトリクスを含むことで、公平なベンチマークを実現する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり学習モデルは、攻撃手法の事前知識なしに、話者認証入力の敵対的摂動を効果的に浄化できるか？
• RQ2 複数のSSLモデル統合におけるASVスコアの統計的差異は、敵対的サンプルを信頼性高く検出できるか？
• RQ3 本手法の浄化法は、従来のフィルタリングベースラインと比較して、敵対的攻撃下でも真の話者認証性能をどれほど維持できるか？
• RQ4 検出モジュールは、異なる敵対的攻撃タイプ（例：FGSM、BIM、JSMA）にどれほど一般化できるか？
• RQ5 話者認証における敵対的防御のベンチマークに最も適したメトリクスは何か？また、それらを標準化する方法は？

主な発見

• SSLRベースの浄化モジュールにより、r-vectorシステムでは敵対的FARが72.30%から20.82%に、x-vectorシステムでは67.29%から26.21%に低下し、耐性が顕著に向上した。
• 真のサンプルにおいても高い性能を維持しており、微調整後もr-vectorでは真のEERが3.12%絶対値低下、x-vectorでは1.70%にとどまった。
• 検出モジュールは、r-vectorシステムではBIM攻撃に対して79.0%、x-vectorシステムでは83.3%の検出精度を達成し、JSMA攻撃ではEER_detが13.6%まで低下した。
• 検出モジュールは攻撃タイプにわたって良好な一般化を示し、EER_detはJSMAで13.6%（最小）からFGSMで31.6%（最大）の範囲にとどまり、より効果的な攻撃ほど検出されやすくなる傾向を示した。
• ASVと検出モジュールを統合した結果、j-FARはr-vectorで39.08%から10.01%、x-vectorで31.21%から9.17%に低下し、実用的影響が顕著に現れた（j-FRRのやや増加を伴うが）。
• AdvFAR、j-FAR、j-FRR、EER_det などを含む本手法の評価フレームワークは、今後のASVにおける敵対的防御研究の標準的ベンチマークを提供する。