[論文レビュー] VENOMAVE: Clean-Label Poisoning Against Speech Recognition.

Hojjat Aghakhani, Thorsten Eisenhofer+5 more|arXiv (Cornell University)|Oct 21, 2020

Adversarial Robustness in Machine Learning参考文献 3被引用数 11

ひとこと要約

VENOMAVE は、訓練中にわずかに改ざんされた音声サンプルを組み込むことで ASR モデルを操作するクリーンラベル汚染攻撃である、自動音声認識（ASR）システムを標的とした最初のデータ汚染攻撃である。ターゲット発話の時間系列フレームにわたり注意深く設計された摂動を用いることで、わずか 0.94% の訓練データを汚染するだけで 83.33% の攻撃成功率を達成し、ASR システムにおける深刻な脆弱性を露呈している。

ABSTRACT

In the past few years, we observed a wide adoption of practical systems that use Automatic Speech Recognition (ASR) systems to improve human-machine interaction. Modern ASR systems are based on neural networks and prior research demonstrated that these systems are susceptible to adversarial examples, i.e., malicious audio inputs that lead to misclassification by the victim's network during the system's run time. The research question if ASR systems are also vulnerable to data poisoning attacks is still unanswered. In such an attack, a manipulation happens during the training phase of the neural network: an adversary injects malicious inputs into the training set such that the neural network's integrity and performance are compromised. In this paper, we present the first data poisoning attack in the audio domain, called VENOMAVE. Prior work in the image domain demonstrated several types of data poisoning attacks, but they cannot be applied to the audio domain. The main challenge is that we need to attack a time series of inputs. To enforce a targeted misclassification in an ASR system, we need to carefully generate a specific sequence of disturbed inputs for the target utterance, which will eventually be decoded to the desired sequence of words. More specifically, the adversarial goal is to produce a series of misclassification tasks and in each of them, we need to poison the system to misrecognize each frame of the target file. To demonstrate the practical feasibility of our attack, we evaluate VENOMAVE on an ASR system that detects sequences of digits from 0 to 9. When poisoning only 0.94% of the dataset on average, we achieve an attack success rate of 83.33%. We conclude that data poisoning attacks against ASR systems represent a real threat that needs to be considered.

研究の動機と目的

• ASR システムがモデル訓練中にデータ汚染攻撃に対して脆弱であるかどうかを調査すること。
• 従来の画像ベースの手法とは異なり、音声入力の時間的構造に特化した新しいデータ汚染技術を開発すること。
• 最小限のデータ注入で実用的な可能性を示しつつ、クリーンラベルの特性を維持したまま ASR モデルを汚染することを実証すること。
• 実世界の ASR タスク—0 から 9 の数字のシーケンスを認識すること—における攻撃の有効性を評価すること。

提案手法

• ターゲット音声発話の複数のフレームにわたる摂動を生成する時間系列に配慮した汚染戦略を設計し、意図的な誤分類を引き起こす。
• 摂動を人間の聴覚に感知されにくくし、クリーンラベルの特性を維持することで、汚染されたサンプルが容易に検出されないように最適化する。
• 各フレームを汚染することで、ASR デコーダーを所望の出力へ誘導するような、シーケンス・トゥ・シーケンス誤分類タスクとして攻撃を定式化する。
• 汚染されたサンプルを含む拡張済みデータセットで ASR モデルを訓練し、モデルがターゲット発話を所望のラベルとして誤認識するように学習させる。
• 勾配に基づく最適化アプローチを用いて、ターゲットトランスクリプションの尤度を最大化しつつ、知覚的歪度を最小化する敵対的摂動を生成する。

実験結果

リサーチクエスチョン

• RQ1 自動音声認識システム—順序的な音声入力を処理するシステム—に対して、データ汚染攻撃が効果的に適用可能かどうか。
• RQ2 人間の聴覚に感知されにくく、かつ ASR モデルにおける意図的誤分類を引き起こすように設計されたクリーンラベル汚染攻撃は、どのように構築可能か。
• RQ3 ASR データ汚染攻撃で高い成功率を達成するために必要な最小限の汚染率はどの程度か。
• RQ4 音声入力の時間的構造は、データ汚染攻撃の設計と有効性にどのように影響するか。

主な発見

• VENOMAVE は、0 から 9 の数字のシーケンスを認識するように訓練された ASR システムにおいて、83.33% の攻撃成功率を達成した。
• 上記の成功率を達成するには、平均して訓練データの 0.94% のみを汚染すればよかった。
• この手法はクリーンラベルの特性を維持しており、訓練中に汚染されたサンプルが正当に見えるようにしている。
• 画像ベースのデータ汚染とは異なり、音声の順序的性質に起因する課題があるにもかかわらず、攻撃は効果的であった。
• 結果として、音声ドメインにおけるデータ汚染は、ASR システムの整合性に対して現実的で深刻な脅威であることが示された。