[論文レビュー] VSVC: Backdoor attack against Keyword Spotting based on Voiceprint Selection and Voice Conversion

Hanbo Cai, Pengcheng Zhang+3 more|arXiv (Cornell University)|Dec 20, 2022

Speech Recognition and Synthesis被引用数 5

ひとこと要約

本稿では、音声特徴に基づく音声変換を用いてトーン特徴に基づくトリガーを生成することで、キーワード検出システムに対するスパイク的バックドア攻撃であるVSVCを提案する。無音のノイズを追加するのではなく、発話者のトーンを変換することで、1%未満の汚染率で最大97%の攻撃成功率を達成し、人間には検出不可能であり、異なるトーン特徴を持つ複数のターゲット攻撃を可能にする。

ABSTRACT

Keyword spotting (KWS) based on deep neural networks (DNNs) has achieved massive success in voice control scenarios. However, training of such DNN-based KWS systems often requires significant data and hardware resources. Manufacturers often entrust this process to a third-party platform. This makes the training process uncontrollable, where attackers can implant backdoors in the model by manipulating third-party training data. An effective backdoor attack can force the model to make specified judgments under certain conditions, i.e., triggers. In this paper, we design a backdoor attack scheme based on Voiceprint Selection and Voice Conversion, abbreviated as VSVC. Experimental results demonstrated that VSVC is feasible to achieve an average attack success rate close to 97% in four victim models when poisoning less than 1% of the training data.

研究の動機と目的

• 音声認識分野、特にキーワード検出（KWS）システムにおいて、効果的でスパイク的なバックドア攻撃が不足しているという問題に取り組む。
• 従来のバックドアトリガーの限界、例えば無音制限、サンプリング周波数依存性、人間の耳による検出可能性を克服する。
• 音声変換を活用して多様なトーン特徴を活用することで、複数ターゲットのバックドア攻撃を可能にする。
• 悪意あるサンプルの精度劣化を最小限に抑えつつ、高い攻撃成功率を確保する。

提案手法

• 悪意ある音声サンプルのトーンを、特定の発話者に特徴的な明確なトーン特徴に変換することで、バックドアトリガーとして機能させる。
• 発話者特徴の類似度に基づいてソース発話者特徴を選択することで、多ターゲット攻撃における干渉を低減し、特徴の明確さを確保する。
• 訓練データのわずかな割合（<1%）を汚染するために、音声変換を適用してターゲットキーワードにトーン特徴に基づくトリガーを埋め込む。
• 汚染済みデータセット上で被害者KWSモデルを訓練し、モデルが特定のトーン特徴とターゲットキーワードを関連付けるように学習させる。
• 音声変換によるグローバル特徴変換を活用することで、超音波または低周波数トリガーに影響を受けるサンプリング周波数制限を回避する。
• 発話者特徴選択を用いて、異なるターゲットキーワードごとに複数の独自のトーントリガーを生成することで、複数ターゲット攻撃戦略を実装する。

実験結果

リサーチクエスチョン

• RQ1 音声変換を用いて、キーワード検出システムにおいて、スパイク的で人間には見えないバックドアトリガーを生成できるか？
• RQ2 従来の無音またはノイズ付きトリガーと比較して、トーン特徴に基づくトリガーは、スパイク性と効果性の面で優れているか？
• RQ3 提案手法は、多様なDNNアーキテクチャにおいて、低汚染率（<1%）で高い攻撃成功率を達成できるか？
• RQ4 本手法は、異なるキーワードに対して明確なトリガーを持つ複数ターゲットのバックドア攻撃をサポートできるか？
• RQ5 モデルアーキテクチャの違い、特に局所的特徴とグローバル特徴に敏感なモデルの違いに応じて、攻撃性能はどのように変化するか？

主な発見

• VSVCは、訓練データの1%未満を汚染した状態で、4つの被害者KWSモデルにおいて平均97%の攻撃成功率を達成した。
• 攻撃は人間の聴取者には検出不可能である：20名の被験者の全員が、悪意あるサンプルと正常サンプルを区別できなかった（100%の識別不能率）。
• LSTMモデルでは、たった50個の汚染サンプルで92%の攻撃成功率を達成し、ベースラインより72%高い性能を示した。
• 正常サンプルにおける平均精度ばらつきはたった0.45%であり、モデル性能への影響が最小限であることが示された。
• 複数ターゲット攻撃は実現可能で効果的である：発話者特徴の類似度に基づく選択により、ランダムなトリガー選択よりも性能が向上し、特に低汚染率で顕著であった。
• 本手法はモデルアーキテクチャの違いに対して頑健であり、ResNet18、WideResNet-10-10、VGG16においても強く性能を示した。特にグローバル特徴に依存するモデルで顕著な利点を示した。