[論文レビュー] CommanderSong: A Systematic Approach for Practical Adversarial Voice Recognition

Xuejing Yuan, Yuxuan Chen+8 more|arXiv (Cornell University)|Jan 24, 2018

Adversarial Robustness in Machine Learning参考文献 27被引用数 77

ひとこと要約

本論文は CommanderSong を提案します。ターゲット音声コマンドを曲に埋め込み、ASR システムが誤認するようにさせる自動手法を示し、同時に人間には通常の音楽として知覚されることを前提としています。また、オーバー・ザ・エア（OTA）実用的攻撃と防御の両方を実証します。

ABSTRACT

The popularity of ASR (automatic speech recognition) systems, like Google Voice, Cortana, brings in security concerns, as demonstrated by recent attacks. The impacts of such threats, however, are less clear, since they are either less stealthy (producing noise-like voice commands) or requiring the physical presence of an attack device (using ultrasound). In this paper, we demonstrate that not only are more practical and surreptitious attacks feasible but they can even be automatically constructed. Specifically, we find that the voice commands can be stealthily embedded into songs, which, when played, can effectively control the target system through ASR without being noticed. For this purpose, we developed novel techniques that address a key technical challenge: integrating the commands into a song in a way that can be effectively recognized by ASR through the air, in the presence of background noise, while not being detected by a human listener. Our research shows that this can be done automatically against real world ASR applications. We also demonstrate that such CommanderSongs can be spread through Internet (e.g., YouTube) and radio, potentially affecting millions of ASR users. We further present a new mitigation technique that controls this threat.

研究の動機と目的

• 実世界の ASR システムに対する実用的な敵対的攻撃を、曲にコマンドを埋め込むことで実証する（WTA および WAA）。
• CommanderSong のブラックボックス ASR システムへの転送可能性と、オンラインメディア（YouTube）およびラジオを介した拡散を示す。
• 隠されたコマンドの人間の知覚を評価し、攻撃に対する防御技術を提案する。

提案手法

• 音響モデル出力と言語モデル出力を分析し、ターゲットコマンドに対応する pdf-id シーケンスを抽出するために Kaldi を用いる。
• 勾配降下法を用いて音響モデル出力とターゲット pdf-id シーケンス間の L1 距離を最小化する目的を定式化する（pdf-id シーケンス整合）。
• 話者ノイズと背景ノイズを考慮する一般的なノイズモデルを導入し、オーバー・ザ・エア攻撃（WAA）を可能にする。
• 曲の忠実度を保ちつつコマンド認識性を確保するよう、バウンド制約の下で敵対的摂動を最適化する。
• デバイス固有ノイズやランダム摂動を組み込み、実用的な伝送を考慮してモデルを拡張し、ロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 実用的な敵対的コマンドを曲に埋め込むことができ、ASR システムにはコマンドとして解釈されるが、人間には気付かれないか？
• RQ2 このような CommanderSong はブラックボックス ASR システムへ転送可能で、オンラインメディアを介して遠隔拡散が可能か？
• RQ3 防御手段は、正当な ASR の性能に大きな影響を与えることなく、CommanderSong の攻撃を緩和できるか？

主な発見

• CommanderSong は Kaldi における 12 コマンドを 26 曲で直接音声入力経由の WTA 攻撃として 100% 成功率を達成。
• WAA 攻撃では、JBL スピーカー経由の空中伝送で 2 つのテスト済みコマンドに対して Kaldi の成功率が 96% に達し、いくつかのケースで SNR が 2 dB 未満であっても成否を分けた。
• MTurk を用いた 204 名の被験者による人間のユーザ研究で、CommanderSong のコマンドは人間にはコマンドとして特定されなかった。
• 本手法は主流の ASR システム（iFLYTEK）へブラックボックス設定での転送性を示し、YouTube/radio を介した拡散の可能性を示唆。