[論文レビュー] Crafting Adversarial Examples For Speech Paralinguistics Applications

Yuan Gong, Christian Poellabauer|arXiv (Cornell University)|Nov 9, 2017

Adversarial Robustness in Machine Learning参考文献 31被引用数 85

ひとこと要約

本論文は、エンドツーエンドの音声パラリンジスティックモデルを攻撃するために、生の音声波形上に直接対抗的摂動を生成するエンドツーエンドの手法を提示し、最小の聴覚歪みで有効な誤分類を示す。

ABSTRACT

Computational paralinguistic analysis is increasingly being used in a wide range of cyber applications, including security-sensitive applications such as speaker verification, deceptive speech detection, and medical diagnostics. While state-of-the-art machine learning techniques, such as deep neural networks, can provide robust and accurate speech analysis, they are susceptible to adversarial attacks. In this work, we propose an end-to-end scheme to generate adversarial examples for computational paralinguistic applications by perturbing directly the raw waveform of an audio recording rather than specific acoustic features. Our experiments show that the proposed adversarial perturbation can lead to a significant performance drop of state-of-the-art deep neural networks, while only minimally impairing the audio quality.

研究の動機と目的

• 対抗的摂動を生の音声波形に直接加えることで、パラリンギスティック分類タスクを妨害できることを示す。
• ロスのある特徴量再構成を回避するエンドツーエンドの対敵攻撃スキームを提案する。
• WaveCNN（CNNベースの代替アーキテクチャ）を採用することでRNNベースのモデルにおける勾配消失に対処する。
• 摂動が異なるパラリンギスティックタスクとモデルに跨って一般化することを示す。
• 対抗的音声の攻撃有効性と知覚的自然さに関する実証分析を提供する。

提案手法

• 摂動 η を用いた生波形 x 上の制約付き最適化問題として対向的摂動を定式化し、f(x+η) ≠ f(x) となるようにする。
• 勾配ベースの FGSM を用いて η = ε sign(∇_x J(θ, x, y)) を計算する。
• RNNの勾配消失問題を克服するため、再帰型ネットワークを前向き伝播の置換（WaveCNN）に置換する。
• 40 ms フレームで音声を処理し、フロントエンド CNN を適用し、続いてバックエンド CNN（WaveCNN）を用いてエンドツーエンドの攻撃有効性を検証する。
• 特徴量レベルおよび MFCC 基づく攻撃とエンドツーエンドの波形摂動を比較し、知覚的歪みの低減を強調する。
• WaveCNN 用に生成された摂動が WaveRNN 類似のモデルにも影響を与えることを示して、攻撃の移動性を評価する。

実験結果

リサーチクエスチョン

• RQ1 対抗的摂動は、生の音声波形上で直接巧妙に作成してパラリンギスティック分類器を欺くことができるか。
• RQ2 エンドツーエンドの摂動アプローチは特徴量再構成によって導入される損失を回避し、依然としてモデルの性能を低下させるか。
• RQ3 CNNベースの代替モデル（WaveCNN）は、勾配に基づく音声攻撃で勾配消失の問題を緩和できるか。
• RQ4 異なるエンドツーエンドのパラリンギスティックアーキテクチャとタスク（性別、感情、話者認識）間で敵対的例が転送されるか。

主な発見

• 対抗的摂動は、性別、感情、話者認識タスクで、控えめな ε 値で有意な誤検出率の増加を達成する。
• WaveCNN（代替モデル）への攻撃は WaveRNN に類似したモデルへ一般化し、ε によって異なる誤検出率の振る舞いを示す。
• エンドツーエンドの波形摂動は MFCC ベースの再構成と比較して知覚的歪みが最小で、自然な音声を保つ。
• 人間の聴取テストでは、提案された対抗的サンプルは自然に知覚され、感情および性別タスクで正しく分類されると認識される。
• 摂動スペクトルは広範であり、単純なフィルタリングでは攻撃を除去するのが効果的でない。
• 特定の ε レベルでは摂動がほぼランダムな性能を生み出すことがあり、攻撃の影響の強さを示している。