[論文レビュー] SirenAttack: Generating Adversarial Audio for End-to-End Acoustic Systems

Tianyu Du, Shouling Ji+4 more|arXiv (Cornell University)|Jan 23, 2019

Music and Audio Processing参考文献 45被引用数 19

ひとこと要約

SirenAttackは、エンドツーエンド音声システムに対して、人間には検出不可能で、非常に効果的かつ多様性に富んだ攻撃を生成する、画期的な敵対的音声生成手法である。IEMOCAPデータセットにおいて99.45％の成功率を達成しながらも、人間および複数のASRプラットフォームから検出されず、さまざまなモデル間で高いステルス性と転送性を示している。

ABSTRACT

Despite their immense popularity, deep learning-based acoustic systems are inherently vulnerable to adversarial attacks, wherein maliciously crafted audios trigger target systems to misbehave. In this paper, we present SirenAttack, a new class of attacks to generate adversarial audios. Compared with existing attacks, SirenAttack highlights with a set of significant features: (i) versatile -- it is able to deceive a range of end-to-end acoustic systems under both white-box and black-box settings; (ii) effective -- it is able to generate adversarial audios that can be recognized as specific phrases by target acoustic systems; and (iii) stealthy -- it is able to generate adversarial audios indistinguishable from their benign counterparts to human perception. We empirically evaluate SirenAttack on a set of state-of-the-art deep learning-based acoustic systems (including speech command recognition, speaker recognition and sound event classification), with results showing the versatility, effectiveness, and stealthiness of SirenAttack. For instance, it achieves 99.45% attack success rate on the IEMOCAP dataset against the ResNet18 model, while the generated adversarial audios are also misinterpreted by multiple popular ASR platforms, including Google Cloud Speech, Microsoft Bing Voice, and IBM Speech-to-Text. We further evaluate three potential defense methods to mitigate such attacks, including adversarial training, audio downsampling, and moving average filtering, which leads to promising directions for further research.

研究の動機と目的

• エンドツーエンド音声モデルに対して、効果的で多様性に富み、ステルス性の高い新たな敵対的音声攻撃のクラスを開発すること。
• 悪意ある方法で作成された音声入力に対して、ディープラーニングベースの音声システムの脆弱性を解決すること。
• 人間の聴取者にとって通常の音声と区別がつかない敵対的例を生成すること。
• 音声コマンド認識、話者認識、音声イベント分類を含む、多様な音声システムにおける攻撃の成功を評価すること。
• 敵対的訓練や信号フィルタリングを含む、こうした攻撃に対する防御メカニズムの可能性を検討すること。

提案手法

• SirenAttackは、人間にとって検出不可能な敵対的摂動を生成するための勾配ベースの最適化フレームワークを採用している。
• 白ボックスおよびブラックボックスの両設定で動作し、さまざまな音声モデル間での転送性を実現している。
• 生成された敵対的音声が通常の入力と音響的に類似していることを保証するため、知覚的マスキングモデルを活用している。
• モデルが音声を特定のターゲットフレーズとして誤分類するように保証するためのターゲット損失関数を用いている。
• 人間の知覚的歪みを最小限に抑えつつ、ターゲットモデルでの誤分類を最大化するように最適化されている。
• SirenAttackは、ResNet18や複数の商用ASRプラットフォームを含む最先端のモデルで評価されている。

実験結果

リサーチクエスチョン

• RQ1 人間にとって検出不可能であり、かつエンドツーエンド音声モデルをだますのに非常に効果的な敵対的音声を生成できるか？
• RQ2 SirenAttackによって生成された敵対的例は、さまざまな音声モデルやASRプラットフォーム間でどれほど転送可能か？
• RQ3 敵対的音声生成において、高いステルス性と高い成功率を実現するための主な要因は何か？
• RQ4 敵対的訓練や音声フィルタリングといった既存の防御メカニズムは、SirenAttackに対してどの程度有効か？
• RQ5 SirenAttackは、音声コマンド認識や音声イベント分類を含む多様な音声タスクに効果的に適用できるか？

主な発見

• SirenAttackは、ターゲットとしてResNet18モデルを用いたIEMOCAPデータセットで99.45％の攻撃成功率を達成した。
• 生成された敵対的音声は、Google Cloud Speech、Microsoft Bing Voice、IBM Speech-to-Textを含む複数の商用ASRプラットフォームでも正常に誤分類された。
• 敵対的例は人間の聴取者にとって検出不可能であり、高いステルス性を示した。
• 攻撃は強力な転送性を示し、ブラックボックス設定でもモデルを効果的にだませた。
• 敵対的訓練は部分的な緩和効果を示したが、音声のダウンサンプリングや移動平均フィルタリングはSirenAttackに対して限定的な有効性しか示さなかった。
• これらの結果は、エンドツーエンド音声システムが微細で標的指定された音声摂動に対して極めて脆弱であることを強調している。