[論文レビュー] Defending against Adversarial Audio via Diffusion Model

Shutong Wu, Jiongxiao Wang+3 more|arXiv (Cornell University)|Mar 2, 2023

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

この論文では、敵対的音声を復元するために、事前学習済みの波形ベースの拡散モデルを用いて、ノイズを追加し、逆方向のサンプリングプロセスを切断することで、清浄な音声を回復する、プラグアンドプレイ型の防御手法AudioPureを提案する。この手法は、多様な$β$-ノルム制限付きの敵対的攻撃に対して、最先端のロバスト正答率を達成し、ランダム化スムージングを用いた優れた認証可能ロバスト性を示す。

ABSTRACT

Deep learning models have been widely used in commercial acoustic systems in recent years. However, adversarial audio examples can cause abnormal behaviors for those acoustic systems, while being hard for humans to perceive. Various methods, such as transformation-based defenses and adversarial training, have been proposed to protect acoustic systems from adversarial attacks, but they are less effective against adaptive attacks. Furthermore, directly applying the methods from the image domain can lead to suboptimal results because of the unique properties of audio data. In this paper, we propose an adversarial purification-based defense pipeline, AudioPure, for acoustic systems via off-the-shelf diffusion models. Taking advantage of the strong generation ability of diffusion models, AudioPure first adds a small amount of noise to the adversarial audio and then runs the reverse sampling step to purify the noisy audio and recover clean audio. AudioPure is a plug-and-play method that can be directly applied to any pretrained classifier without any fine-tuning or re-training. We conduct extensive experiments on speech command recognition task to evaluate the robustness of AudioPure. Our method is effective against diverse adversarial attacks (e.g. $\mathcal{L}_2$ or $\mathcal{L}_\infty$-norm). It outperforms the existing methods under both strong adaptive white-box and black-box attacks bounded by $\mathcal{L}_2$ or $\mathcal{L}_\infty$-norm (up to +20\% in robust accuracy). Besides, we also evaluate the certified robustness for perturbations bounded by $\mathcal{L}_2$-norm via randomized smoothing. Our pipeline achieves a higher certified accuracy than baselines.

研究の動機と目的

• 深層学習ベースの音響システムが、人間には検出できない敵対的音声摂動に対して脆弱であるという問題に対処すること。
• 敵対的再訓練やモデルのファインチューニングを必要とせず、多様な敵対的攻撃に一般化可能な防御を構築すること。
• 画像分野で成功した拡散モデルを音声分野に適応させ、変動する長さの入力や表現への感受性といった分野固有の課題を克服すること。
• 強力な適応型、ブラックボックス型、EOT攻撃下でのロバスト性を評価し、ランダム化スムージングを用いて認証可能ロバスト性を確立すること。

提案手法

• AudioPureは、事前学習済みの波形ベースの拡散モデルを用い、敵対的音声入力をまずノイズを加え、その後に切断された逆方向サンプリングプロセスを適用することで、清浄な音声を回復する。
• この手法は、下流の分類器のファインチューニングや再訓練を一切必要としない、プラグアンドプレイ型のパイプラインとして動作する。
• 拡散モデルの強力な生成能力を活用して、敵対的摂動を抑制しつつ、意味的コンテンツを保持する。
• 評価は、$β$-ノルムおよび$∞$-ノルム制限付き攻撃（適応型およびブラックボックス型を含む）を用いた音声コマンド認識タスクで実施された。
• 認証可能ロバスト性は、ノイズレベル$σ = \{0.5, 1.0\}$を用いたランダム化スムージングにより評価され、効率性を考慮してワンショットデノイジングが適用された。
• AudioPureは、敵対的訓練、変換ベース防御、スペクトログ램表現に基づく拡散法を用いたベースラインと比較された。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの拡散モデルを、分類器の再訓練を伴わず、敵対的音声防御に効果的に適応できるか？
• RQ2 波形ベースの拡散モデルは、スペクトログラムベースのモデルと比較して、ロバスト性およびクリーン正答率の面でどのように異なるか？
• RQ3 AudioPureは、強力な適応型およびブラックボックス攻撃下でも、既存の防御よりも高いロバスト正答率を達成できるか？
• RQ4 ランダム化スムージングを用いて評価した場合、AudioPureはベースラインよりも高い認証可能ロバスト性を達成できるか？
• RQ5 音声表現（波形対スペクトログラム）が、拡散モデルに基づく復元性能に与える影響は何か？

主な発見

• AudioPureは、$β$-ノルムおよび$∞$-ノルム制限付きの敵対的攻撃、特に強力な適応型およびブラックボックス攻撃下でも、既存の手法に比べて最大20%高いロバスト正答率を達成した。
• 波形ベースの拡散モデル（DiffWave）は、スペクトログラムベースのモデル（DiffSpec）よりも、$β$-ノルム攻撃下で35%高いロバスト正答率を示したが、これはDiffSpecがより高いクリーン正答率を示していたにもかかわらずである。
• AudioPureは、すべてのテストノイズレベルで、RS-VanillaおよびRS-Gaussianベースラインよりも高い認証可能ロバスト正答率を達成した。$σ = 0.5$、半径1.50の条件下で13%の認証可能正答率を達成した。
• この手法は、大きな摂動に対しても強固な性能を維持し、摂動半径が増加するにつれて、ベースラインよりも認証可能正答率の低下が遅くなった。
• アブレーションスタディの結果、画像ベースの拡散モデルをスペクトログラムに直接適用すると、情報圧縮と固定サイズの入力制約のため、最適でない結果となることが確認された。
• AudioPureは、モデルのファインチューニングを必要とせず、さまざまな分類器アーキテクチャに普遍的に適用可能な、プラグアンドプレイ型防御としての汎用性を示した。