[論文レビュー] Identifying Audio Adversarial Examples via Anomalous Pattern Detection

Victor Akinwande, Celia Cintas+2 more|arXiv (Cornell University)|Feb 13, 2020

Adversarial Robustness in Machine Learning参考文献 31被引用数 11

ひとこと要約

この論文では、ニューラルネットワークの活性化空間におけるサブセットスキャンを用いて、音声の adversarial 例を無教師で検出する手法を提案する。攻撃の種類やラベル付きデータを事前に知らずに、悪意ある入力の検出においてAUC 0.982に達し、正常な入力の性能を損なわずに、モデル層における統計的に有意な活性化の異常によって、強力な検出性能を示している。

ABSTRACT

Audio processing models based on deep neural networks are susceptible to adversarial attacks even when the adversarial audio waveform is 99.9% similar to a benign sample. Given the wide application of DNN-based audio recognition systems, detecting the presence of adversarial examples is of high practical relevance. By applying anomalous pattern detection techniques in the activation space of these models, we show that 2 of the recent and current state-of-the-art adversarial attacks on audio processing systems systematically lead to higher-than-expected activation at some subset of nodes and we can detect these with up to an AUC of 0.98 with no degradation in performance on benign samples.

研究の動機と目的

• 攻撃の種類やラベル付きデータを事前に知らずに、adversarial 音声入力を検出すること。
• 深層ニューラルネットワークの活性化空間で動作する、無教師の検出メカニズムを開発すること。
• adversarial パーティクルの検出と併せて、正常な音声入力の精度を高い水準に維持すること。
• 異なる音声処理モデルやデータセットにわたる、adversarial 例の普遍的な特徴を特定すること。

提案手法

• DNNの層におけるニューロン活性化の異常サブセットを検出するために、非パラメトリックなスキャン統計を採用する。
• 層内のすべての可能なノードサブセットについて最適化することで、実数値の異常スコアを定義する。
• 正常な入力からの活性化のバックグラウンド分布を用いて、各サブセットのp値を計算する。
• サブセットスキャン（SS）を適用し、adversarial 入力における高活性化ノードの統計的に有意なクラスタを同定する。
• 活性化の異常が最も特徴的である層に焦点を当てることで、検出プロセスを最適化する（例：DeepSpeechの'relu_2'層）。
• 再トレーニングやデータ拡張を必要とせず、既存のモデルと互換性のあるプラグイン検出器として統合する。

実験結果

リサーチクエスチョン

• RQ1 DNNの層における異常な活性化パターンは、adversarial 音声入力と正常な入力を信頼性高く区別できるか？
• RQ2 提案手法は、複数の最先端の音声 adversarial 攻撃を、高い性能と最小限の誤検出で検出できるか？
• RQ3 サブセットスキャンは、攻撃の種類やラベル付き学習データを事前に知らずに adversarial 例を検出できるか？
• RQ4 adversarial パーティクルの検出において、最も特徴的である層と活性化サブセットは何か？
• RQ5 事前に処理やモデル再トレーニングに依存する既存の防御手法と比較して、検出性能はどのように異なるか？

主な発見

• LibriSpeechでDeepSpeechモデルの'relu_2'層を用いた場合、AUC 0.982を達成し、現在の最先端の検出手法を上回る。
• Common Voiceでも、同じモデルと層を用いることでAUC 0.973を達成し、異なるデータセット間での強力な一般化性能を示している。
• このアプローチは正常な入力の精度を完全に維持しており、事前処理ベースの防御で一般的に見られる性能低下を回避している。
• Carlini & Wagner (2018) および Qin et al. (2019) の2つの異なる最先端攻撃に対して、検出性能が一貫している。
• adversarial 例は特定のニューロンサブセットに統計的に有意な活性化の異常を引き起こしており、これがサブセットスキャンによって検出可能である。
• 最高の検出性能は、DeepSpeechの'relu_2'層で観察され、この層が adversarial 入力の検出に最も特徴的な活性化パターンを含んでいると考えられる。