[论文解读] Nonsense Attacks on Google Assistant

Mary Bispham, Ioannis Agrafiotis+1 more|arXiv (Cornell University)|Aug 6, 2018

User Authentication and Security Systems参考文献 10被引用 6

一句话总结

本文展示了，攻击者可利用对人类而言毫无意义的语音序列，对 Google 助手实施隐蔽控制。这些语音序列虽对人类无法理解，但因与合法语音命令在发音上相似，可触发特定指令。该攻击利用了语音识别系统在区分有意义与无意义音素组合方面的能力缺陷，表明在 20 名人类受试者中，有 17 名未能识别出恶意指令，尽管这些指令已成功被助手执行。

ABSTRACT

This paper presents a novel attack on voice-controlled digital assistants using nonsensical word sequences. We present the results of experimental work which demonstrates that it is possible for malicious actors to gain covert access to a voice-controlled system by hiding commands in apparently nonsensical sounds of which the meaning is opaque to humans. Several instances of nonsensical word sequences were identified which triggered a target command in a voice-controlled digital assistant, but which were incomprehensible to humans, as shown in tests with human experimental subjects. Our work confirms the potential for hiding malicious voice commands to voice-controlled digital assistants or other speech-controlled devices in speech sounds which are perceived by humans as nonsensical.

研究动机与目标

• 调查语音控制数字助手（如 Google 助手）是否可被利用无意义的语音发音（对人类无意义但对机器有效）进行操控。
• 探索语音识别系统对利用发音相似性但无语义一致性的对抗性输入的脆弱性。
• 评估人类对无意义音素序列的理解与机器对这些序列的解释之间的感知差异。
• 评估利用押韵或发音相似的无意义音节作为语音界面中隐蔽攻击向量的可行性。
• 识别自然语言理解与语音识别系统中未能检测非词汇性、无意义输入的设计缺陷。

提出的方法

• 通过生成与目标命令发音相似但无意义的词语发音，构建对抗性指令，这些发音与 Google 助手识别的合法命令在语音上相近。
• 通过受控音频播放（包括直接输入和无线传输）测试 Google 助手对这些无意义输入的响应。
• 开展一项在线实验，让 20 名人类参与者评估对抗性指令的可理解性。
• 使用注意力检查（如“你好吗”）以验证参与者的参与度和转录结果的可靠性。
• 收集并分析参与者的转录结果，判断其是否在无意义声音中感知到任何意义。
• 将机器转录结果（来自 Google 助手）与人类转录结果进行对比，识别系统与人类在解释上的差异。

实验结果

研究问题

• RQ1 能否通过与合法命令发音相似但无意义的语音序列，触发 Google 助手执行操作？
• RQ2 人类听众在多大程度上能从触发 Google 助手执行命令的无意义语音中感知到意义？
• RQ3 Google 助手的语音识别与自然语言理解系统如何解释无词汇性音素序列，与人类感知有何不同？
• RQ4 无意义音节中是否存在特定的语音特征或押韵结构，会增加其被误判为有效命令的可能性？
• RQ5 机器无法在语音输入中区分‘意义’与‘无意义’，是否会导致可被利用的安全漏洞？

主要发现

• 在 17 份有效的参与者反馈中，无人识别出对抗性指令为合法的 Google 助手命令，尽管这些指令已成功被执行。
• 八名参与者表示完全无法理解这些无意义声音的含义，其余参与者则将其转录为无关的真实词汇，甚至误认为是外语短语。
• 一名参与者将一个无意义指令转录为“hurn glights grew”，表明其对无意义音节的发音近似。
• Google 助手成功响应无意义输入并执行了目标命令（例如“打开灯”），即使其转录结果与目标命令不同。
• 系统不仅对语义等效的转录（如“打开灯”对应“打开灯”）作出响应，也对语法或语义不同的转录（如“关掉灯”对应“关掉灯”）作出响应。
• 助手从未将无意义输入视为“无意义”，而是尝试将其映射为真实词汇或短语，凸显其在非词汇性输入中缺乏语义基础。