[論文レビュー] Adversarial Attacks against Neural Networks in Audio Domain: Exploiting Principal Components

Ken Alparslan, Yigit Alparslan+1 more|arXiv (Cornell University)|Jul 14, 2020

Adversarial Robustness in Machine Learning参考文献 26被引用数 9

ひとこと要約

本論文は、白ボックスおよびブラックボックス設定の両方で、主成分分析（PCA）を用いた音声認識ニューラルネットワークに対する adversarial 攻撃を調査している。PCA を用いることで、DeepSpeech を100%の成功率でだますことのできる adversarial 音声サンプルを効果的に生成できることを示している一方で、PCA が防御メカニズムとして機能しないこと、音声ベースのディープラーニングシステムの脆弱性を浮き彫りにしている。

ABSTRACT

Adversarial attacks are inputs that are similar to original inputs but altered on purpose. Speech-to-text neural networks that are widely used today are prone to misclassify adversarial attacks. In this study, first, we investigate the presence of targeted adversarial attacks by altering wave forms from Common Voice data set. We craft adversarial wave forms via Connectionist Temporal Classification Loss Function, and attack DeepSpeech, a speech-to-text neural network implemented by Mozilla. We achieve 100% adversarial success rate (zero successful classification by DeepSpeech) on all 25 adversarial wave forms that we crafted. Second, we investigate the use of PCA as a defense mechanism against adversarial attacks. We reduce dimensionality by applying PCA to these 25 attacks that we created and test them against DeepSpeech. We observe zero successful classification by DeepSpeech, which suggests PCA is not a good defense mechanism in audio domain. Finally, instead of using PCA as a defense mechanism, we use PCA this time to craft adversarial inputs under a black-box setting with minimal adversarial knowledge. With no knowledge regarding the model, parameters, or weights, we craft adversarial attacks by applying PCA to samples from Common Voice data set and achieve 100% adversarial success under black-box setting again when tested against DeepSpeech. We also experiment with different percentage of components necessary to result in a classification during attacking process. In all cases, adversary becomes successful.

研究の動機と目的

• PCA を用いた白ボックスおよびブラックボックス設定における、音声認識ニューラルネットワークに対する標的攻撃の実現可能性を調査すること。
• 音声ドメインにおける adversarial 攻撃に対する PCA を防御メカニズムとして評価すること。
• PCA を用いた再構成による摂動が DeepSpeech に与える影響を、成分の保持率を変化させながらその耐性を評価すること。
• 再構成の忠実度レベルが異なる状況下での adversarial 攻撃の転送性および検出可能性を調査すること。

提案手法

• 特定の出力文字列をターゲットとするために、Connectionist Temporal Classification（CTC）損失関数を用いて DeepSpeech を標的にした adversarial 音声サンプルを生成した。
• adversarial 波形の次元削減に PCA を適用し、成分保持率（10% から 95%）を変化させながら、DeepSpeech に対する有効性をテストした。
• モデルの重みやアーキテクチャにアクセスできない状況で、clean な Common Voice サンプルに PCA を適用した後、摂動を生成することでブラックボックス攻撃を実装した。
• ターゲットモデルとして DeepSpeech を用い、RNN をベースとする LSTM アーキテクチャと CTC を用いたシーケンス・ツー・シーケンス学習による音声認識を活用した。
• 攻撃成功度を、文字列の正しく分類されない（正解分類数が0）状態として測定し、正規化された編集距離と類似度インデックスを用いて知覚的類似度を評価した。
• PCA 成分の閾値を変化させた際の再構成音声の忠実度とモデルの誤分類率を比較することで、adversarial の耐性を評価した。

実験結果

リサーチクエスチョン

• RQ1 最小限のモデル知識で、PCA を用いてブラックボックス設定において効果的に adversarial 音声サンプルを生成できるか？
• RQ2 PCA を防御メカニズムとして適用することで、音声認識システムにおける adversarial 攻撃を効果的に緩和できるか？
• RQ3 PCA 成分保持率による再構成忠実度と adversarial 攻撃成功確率の関係は何か？
• RQ4 95% の PCA 成分保持率（例：95%）を持つ adversarial サンプルは、元の音声とどれほど知覚的に類似しているか？また、人間による検出を回避できるか？
• RQ5 特に DeepSpeech がベンチマークとしての地位を有することを考慮すると、PCA を用いて生成された adversarial 攻撃は、異なる音声モデル間でどれほど転送可能か？

主な発見

• 白ボックス設定において、25個の生成された adversarial 波形すべてで100%の攻撃成功率を達成した。DeepSpeech は元の入力を正しく認識できず、代わりに標的の文を出力した。
• 95% の周波数成分を保持した PCA を用いた再構成において、平均類似度インデックスは 87.85%、正規化編集距離は 9 であった。これは、元の音声と高い知覚的類似度を示している。
• 10% の成分保持率でさえも、100% の攻撃成功率を達成したが、平均類似度インデックスは 27.42% に低下し、正規化編集距離は 46 に上昇した。これは、著しい破損を示している。
• PCA は防御メカニズムとして効果がなく、DeepSpeech はすべての PCA 再構成 adversarial サンプルを正しく認識できなかった。これは、PCA が adversarial 摂動を除去しないことを確認している。
• 本研究では、clean データに PCA を適用することで、モデルパラメータを一切知らない状況でも、ブラックボックス設定で100%の成功率で adversarial 攻撃を成功させられることを示した。
• 95% の再構成忠実度ケースは、より高い知覚的類似度を示すため、実世界の攻撃においてより有効である。これは、完全な文字認識失敗にもかかわらず、adversarial サンプルが検出されにくくなることを意味する。