[論文レビュー] Nonsense Attacks on Google Assistant

Mary Bispham, Ioannis Agrafiotis+1 more|arXiv (Cornell University)|Aug 6, 2018

User Authentication and Security Systems参考文献 10被引用数 6

ひとこと要約

本稿では、人間には意味が通じないが、音声の類似性により正当な音声コマンドと類似した無意味な語の並びによって、Googleアシスタントが密かに制御可能であることが示されている。攻撃は、音声認識システムが意味のある語と無意味な音素の組み合わせを区別できないという欠陥を突いており、20人の被験者のうち17人が、アシスタントによって正常に実行されたにもかかわらず、悪意あるコマンドを認識できなかったことを示している。

ABSTRACT

This paper presents a novel attack on voice-controlled digital assistants using nonsensical word sequences. We present the results of experimental work which demonstrates that it is possible for malicious actors to gain covert access to a voice-controlled system by hiding commands in apparently nonsensical sounds of which the meaning is opaque to humans. Several instances of nonsensical word sequences were identified which triggered a target command in a voice-controlled digital assistant, but which were incomprehensible to humans, as shown in tests with human experimental subjects. Our work confirms the potential for hiding malicious voice commands to voice-controlled digital assistants or other speech-controlled devices in speech sounds which are perceived by humans as nonsensical.

研究の動機と目的

• Googleアシスタントのような音声制御デジタルアシスタントが、人間には意味の通じないが機械にとっては機能する無意味な語の音声によって操作可能かどうかを調査すること。
• 意味のない入力が音声認識システムの脆弱性を突く、意味のない文脈的整合性のない音声入力に対する脆弱性を調査すること。
• 無意味な音素の並びについて、人間の理解と機械の解釈との間の認識の違いを評価すること。
• 韻を踏んだり、音声的に類似した無意味な音節を、音声インターフェースにおける隠れた攻撃ベクトルとして使用する可能性を評価すること。
• 意味のない非語彙的入力の検出に失敗する、自然言語理解および音声認識システムにおける設計上の欠陥を特定すること。

提案手法

• Googleアシスタントが認識するターゲットコマンドに音声的に類似したが意味のない語の音声を生成し、攻撃用の悪意あるコマンドを作成した。
• 直接入力および電波送信による音声再生を用いて、Googleアシスタントへの反応を制御された環境でテストした。
• 20名の被験者を対象に、悪意あるコマンドの認識可能性を評価するオンライン実験を実施した。
• 参加者の関与状態とトランスクリプションの信頼性を検証するため、注意確認用のフレーズ（例：'hi how are you'）を用いた。
• 被験者から収集したトランスクリプションを分析し、無意味な音声に意味が感じ取られたかどうかを判断した。
• 機械によるトランスクリプション（Googleアシスタント出力）と人間によるトランスクリプションを比較し、システムと人間の間での解釈の違いを特定した。

実験結果

リサーチクエスチョン

• RQ1 意味のない語の並びが、音声的に正当なコマンドに類似している場合、Googleアシスタントがそれらのコマンドを実行できるか？
• RQ2 意味のない語の音声が、Googleアシスタントがコマンドとして実行するものであるにもかかわらず、人間の聴取者にとってどれほど意味を理解できるか？
• RQ3 Googleアシスタントの音声認識および自然言語理解システムは、非語彙的音素の並びを人間の認識とはどのように解釈するか？
• RQ4 無意味な音節に、特定の音声的特徴や韻の構造があると、有効なコマンドとして誤って分類される可能性が高まるか？
• RQ5 機械が音声入力において「意味」を「無意味」に区別できないことにより、セキュリティ上の脆弱性が生じるか？

主な発見

• 有効な被験者20名中17名が、正しく実行された悪意あるコマンドを、Googleアシスタントの正当なコマンドとして認識できなかった。
• 8名の被験者が無意味な音声に意味がないと報告した一方、他の被験者は関係のない実際の語や外国語のフレーズに似ていると記録した。
• 1名の被験者が無意味なコマンドを「hurn glights grew」とトランスクリプトしたが、これは無意味な音節の音声的近似を示している。
• Googleアシスタントは、無意味な入力に対しても、たとえば「turn on light」のようなターゲットコマンドを正常に実行した。トランスクリプションがターゲットコマンドと異なっていても同様だった。
• システムは意味的に同等のトランスクリプション（例：'switch on the light' は 'turn on light' に対応）だけでなく、文法的・意味的に異なるもの（例：'turns off the light' は 'turn off light' に対応）に対しても動作した。
• 無意味な入力は、アシスタントが「無意味」として処理せず、代わりに実際の語やフレーズにマッピングしようとした。これは、非語彙的入力に対して意味の根拠が欠落していることを示している。