[論文レビュー] Adversarial Defense for Automatic Speaker Verification by Self-Supervised Learning

Haibin Wu, Xu Li+4 more|arXiv (Cornell University)|Jun 1, 2021

Adversarial Robustness in Machine Learning参考文献 58被引用数 4

ひとこと要約

本稿は、攻撃手法の事前知識が不要な自己教師あり学習（SSL）ベースの自動話者認証（ASV）防御を提案する。敵対的摂動をノイズとみなして、SSLモデルを用いて摂動の浄化と検出を実行し、敵対的サンプルの検出に約80%の精度を達成するとともに、ASVの敵対的防御のための形式的評価フレームワークを提案する。

ABSTRACT

Previous works have shown that automatic speaker verification (ASV) is seriously vulnerable to malicious spoofing attacks, such as replay, synthetic speech, and recently emerged adversarial attacks. Great efforts have been dedicated to defending ASV against replay and synthetic speech; however, only a few approaches have been explored to deal with adversarial attacks. All the existing approaches to tackle adversarial attacks for ASV require the knowledge for adversarial samples generation, but it is impractical for defenders to know the exact attack algorithms that are applied by the in-the-wild attackers. This work is among the first to perform adversarial defense for ASV without knowing the specific attack algorithms. Inspired by self-supervised learning models (SSLMs) that possess the merits of alleviating the superficial noise in the inputs and reconstructing clean samples from the interrupted ones, this work regards adversarial perturbations as one kind of noise and conducts adversarial defense for ASV by SSLMs. Specifically, we propose to perform adversarial defense from two perspectives: 1) adversarial perturbation purification and 2) adversarial perturbation detection. Experimental results show that our detection module effectively shields the ASV by detecting adversarial samples with an accuracy of around 80%. Moreover, since there is no common metric for evaluating the adversarial defense performance for ASV, this work also formalizes evaluation metrics for adversarial defense considering both purification and detection based approaches into account. We sincerely encourage future works to benchmark their approaches based on the proposed evaluation framework.

研究の動機と目的

• 再現および合成音声攻撃と比較して未だ十分に検討が進んでいない、自動話者認証（ASV）における敵対的攻撃に対する重大な脆弱性に対処する。
• 攻撃アルゴリズムの事前知識を必要とする従来の防御の限界を克服し、実世界の状況において現実的でないという点を改善する。
• 自己教師あり学習モデル（SSLM）のノイズ耐性を活用することで、未知または実環境における敵対的攻撃に対して耐性を持つASVの防御機構を開発する。
• 浄化と検出の両方のアプローチをカバーする評価指標を形式化し、標準化されたベンチマークを可能にする。

提案手法

• 敵対的摂動を入力ノイズの一種とみなして、自己教師あり学習モデル（SSLM）が内蔵するノイズ低減能力を活用し、敵対的摂動の浄化を実現する。
• SSLモデルを介して元の特徴と再構成特徴の乖離を分析することで、敵対的サンプルを同定する検出モジュールを設計する。
• 事前学習済みのSSLM（例：Wav2Vec 2.0 または類似モデル）を用いて、敵対的摂動に対して感受性が低い堅牢な表現を抽出する。
• SSLM特徴に基づいて分類器を学習し、クリーンな入力と敵対的入力を区別する。これにより、悪意あるサンプルのリアルタイム検出が可能になる。
• 浄化モジュールと検出モジュールを統合し、統一された防御パイプラインを構築することで、ASVの耐性を向上させる。
• 浄化と検出の両方のパフォーマンスを考慮する形式的評価フレームワークを提案し、検出精度や攻撃下での認証精度といった指標を含む。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり学習モデルは、攻撃手法の事前知識なしに、ASV入力の敵対的摂動を効果的に浄化できるか？
• RQ2 SSLMを用いた検出ベースの防御は、ASVシステムにおける敵対的サンプルの同定にどの程度効果的か？
• RQ3 浄化と検出の両方のコンponentを考慮する場合、ASVにおける敵対的防御のベンチマークに最も適切な評価指標は何か？
• RQ4 攻撃固有の知識に依存しない防御機構でも、多様な敵対的攻撃に対して高い耐性を達成できるか？

主な発見

• 提案された検出モジュールは、攻撃アルゴリズムの知識がなくても敵対的サンプルを同定する際、約80%の精度を達成し、優れた性能を示した。
• SSLベースの浄化アプローチは、自己教師あり表現のノイズ耐性を活用することで、敵対的摂動の影響を効果的に低減した。
• 浄化と検出の両方のコンponentを統合することで、敵対的条件下でもより耐性のあるASVシステムが実現された。
• 本稿では、先行研究で標準化された指標が不足していたASVにおける敵対的防御のための包括的な評価フレームワークを形式化した。
• 実験結果から、攻撃手法が未知であっても防御機構が有効であることが確認され、実用的応用の可能性が示された。
• 提案された評価フレームワークは、今後のASVにおける敵対的防御手法の公平かつ一貫性のあるベンチマーク化を可能にするものと期待される。