[論文レビュー] CommanderSong: A Systematic Approach for Practical Adversarial Voice Recognition

Xuejing Yuan, Yuxuan Chen+8 more|arXiv (Cornell University)|Jan 24, 2018

Adversarial Robustness in Machine Learning参考文献 23被引用数 163

ひとこと要約

本論文は CommanderSong を提示します。これは ASR 系統に認識される歌へコマンドを埋め込む実用的な手法であり、無線経由の攻撃（WAA）と直接 WAV 入力（WTA）が可能となり、防御手段が提案されます。

ABSTRACT

The popularity of ASR (automatic speech recognition) systems, like Google Voice, Cortana, brings in security concerns, as demonstrated by recent attacks. The impacts of such threats, however, are less clear, since they are either less stealthy (producing noise-like voice commands) or requiring the physical presence of an attack device (using ultrasound). In this paper, we demonstrate that not only are more practical and surreptitious attacks feasible but they can even be automatically constructed. Specifically, we find that the voice commands can be stealthily embedded into songs, which, when played, can effectively control the target system through ASR without being noticed. For this purpose, we developed novel techniques that address a key technical challenge: integrating the commands into a song in a way that can be effectively recognized by ASR through the air, in the presence of background noise, while not being detected by a human listener. Our research shows that this can be done automatically against real world ASR applications. We also demonstrate that such CommanderSongs can be spread through Internet (e.g., YouTube) and radio, potentially affecting millions of ASR users. We further present a new mitigation technique that controls this threat.

研究の動機と目的

• 現代の DNN ベースの ASR システムに対する歌を媒体とした現実的な攻撃を実証する。
• オンラインメディア（例：YouTube）を通じて CommanderSong が広く配布され、多くの ASR ユーザーへ拡散し得ることを示す。
• CommanderSongattack に対する防御機構を開発・評価する。
• CommanderSong の人間による知覚性と、異なる ASR プラットフォームへの転用性を評価する。

提案手法

• 攻撃パイプラインの研究対象として Kaldi ASR を使用する。
• 勾配降下法を用いて pdf-id シーケンスを整合させ、摂動を最小化しつつコマンドの復号を可能にする adversarial audio を作成する。
• 元の歌とターゲットコマンドの DNN 後方分布出力間の L1 距離を最小化することを目的とした pdf-id シーケンス整合化の定義を行う。
• オーバー・ザ・エア攻撃のため、話者ノイズと録音受信機ノイズを模擬する一般的なノイズモデルを組み込む。
• WAA 攻撃の頑健性を高めるため、話者と受信機の多様性に対するランダムノイズを導入する。
• 複数のコマンドと歌に対して WTA および WAA 攻撃を評価し、人間の知覚性調査を実施する。

実験結果

リサーチクエスチョン

• RQ1 現実世界の音響環境で機能する現実的な adversarial attack を ASR システムに対して構築することは可能か。
• RQ2 攻撃用音声が人間には検知されず、ASR には認識されるほど stealthy であり得るか。
• RQ3 そのような adversarial サンプルを遠隔で配布し、オンラインメディアを通じて多数のデバイスに影響を及ぼすことができるか。
• RQ4 現行の ASR システムに対する CommanderSong 攻撃を緩和する防御は何か。

主な発見

• CommanderSong は Kaldi における WTA 攻撃で、テストしたコマンド全てに対して注入コマンドのデコード成功率を 100%・達成した。
• WAA 攻撃は JBL スピーカーを用いた疑似 IVC デバイスに対し最大 96% の成功率を達成し、空中環境での SNR は 2 dB 未満であった。
• WTA 攻撃の平均 SNR は 14–18.6 dB の範囲で、摂動が 4% 未満ながら高認識率を維持。
• CommanderSong はブラックボックス環境（コード/モデルへのアクセスなし）で iFLYTEK への転移性を示した。
• MTurk を通じたヒューマン調査では、参加者が CommanderSong に埋め込まれたコマンドを特定できなかった。
• 攻撃に対して有効だった防御アプローチとして、オーディオ・タービュランスとオーディオ・スクイージングの二つが挙げられる。