[論文レビュー] Did you hear that? Adversarial Examples Against Automatic Speech Recognition

Moustafa Alzantot, Bharathan Balaji+1 more|arXiv (Cornell University)|Jan 2, 2018

Adversarial Robustness in Machine Learning参考文献 11被引用数 197

ひとこと要約

この論文は、黒箱・勾配なしの遺伝的アルゴリズムを用いて、音声コマンド認識モデルに対してターゲットを持つ敵対的音声を生成することを実証し、87%の成功率を達成しつつ、最小限で多くは知覚不能なノイズを加える。人間の聴取者は摂動を大部分識別できない。

ABSTRACT

Speech is a common and effective way of communication between humans, and modern consumer devices such as smartphones and home hubs are equipped with deep learning based accurate automatic speech recognition to enable natural interaction between humans and machines. Recently, researchers have demonstrated powerful attacks against machine learning models that can fool them to produceincorrect results. However, nearly all previous research in adversarial attacks has focused on image recognition and object detection models. In this short paper, we present a first of its kind demonstration of adversarial attacks against speech classification model. Our algorithm performs targeted attacks with 87% success by adding small background noise without having to know the underlying model parameter and architecture. Our attack only changes the least significant bits of a subset of audio clip samples, and the noise does not change 89% the human listener's perception of the audio clip as evaluated in our human study.

研究の動機と目的

• ASRシステムの敵対的脆弱性を、画像モデルを超える形で動機づけ、実証する。
• 黒箱・勾配なしの攻撃が音声認識の特定の出力を標的にできることを示す。
• ユーザー調査を通じて敵対的ノイズの知覚的影響を定量化する。
• 敵対的オーディオ生成の再現可能な方法論と公開可能な実装を提供する。

提案手法

• モデルの勾配やアーキテクチャの詳細を必要とせず、ターゲット付き敵対的音声を生成するために遺伝的アルゴリズムを使用する。
• 知覚的影響を最小化するため、一部のオーディオサンプルの最下位ビットのみを摂動させる。
• 適応度は黒箱モデル下でのターゲットラベルの尤度を評価し、選択、交叉、突然変異を導く。
• Titan X GPU上で中間生成時間37秒、500回の反復に攻撃を制限する。
• Speech Commandsモデルとデータセットで、500個のソースクリップと各クリップあたり9つのターゲットラベル（計4500の敵対的例）で評価する。

実験結果

リサーチクエスチョン

• RQ1 黒箱・勾配なしの攻撃はASRを選択したターゲットラベルへ大きく誤認させることができるか？
• RQ2 実用的なASRモデルに対するターゲット付き敵対的音声の成功率はどの程度か？
• RQ3 人間の聴取者には摂動がどの程度知覚されるのか、元のラベル認識は維持されるのか？
• RQ4 公開コードとパラメータで手法は再現可能か？
• RQ5 非ターゲット攻撃はASRにおけるターゲット攻撃と比べて実現可能性・影響はどうか？

主な発見

攻撃がソースとしてラベル付けされた攻撃	攻撃がターゲットとしてラベル付けされた攻撃	攻撃がその他としてラベル付けされた攻撃	割合
89%	0.6%	9.4%

• ターゲット攻撃は源ラベルと目標ラベルの組み合わせ全体で87%の成功を示す。
• ノイズは16ビットのオーディオファイルのサンプルの8ビット下位ビットのみに摂動として加えられる。
• 人間の研究（23名、1500クリップ）では、ノイズが人間のラベリングを元のソースラベルから変更することは89%のケースで起きなかった。
• Titan X GPUでの敵対的例生成の中央値は37秒。
• MFCC勾配は要求されず、モデル内部を回避したブラックボックス設定で攻撃を実証。
• 攻撃は主仕様で未ターゲット攻撃については100%の成功を得る（議論時点の記述）。（主結果には含まれない。）