[论文解读] Alexa, Who Am I Speaking To? Understanding Users' Ability to Identify Third-Party Apps on Amazon Alexa

D. J. Major, Danny Yuxing Huang+2 more|arXiv (Cornell University)|Oct 30, 2019

Advanced Malware Detection Techniques被引用 4

一句话总结

本研究调查了用户区分原生 Alexa 功能与第三方应用的能力，发现即使是有经验的用户也经常将第三方技能误认为是原生功能。尽管意识到第三方开发的存在，仍有 70% 的参与者未能正确识别恶意或第三方技能，凸显了语音界面设计模糊所带来的严重隐私与安全风险。

ABSTRACT

Many Internet of Things (IoT) devices have voice user interfaces (VUIs). One of the most popular VUIs is Amazon's Alexa, which supports more than 47,000 third-party applications ("skills"). We study how Alexa's integration of these skills may confuse users. Our survey of 237 participants found that users do not understand that skills are often operated by third parties, that they often confuse third-party skills with native Alexa functions, and that they are unaware of the functions that the native Alexa system supports. Surprisingly, users who interact with Alexa more frequently are more likely to conclude that a third-party skill is native Alexa functionality. The potential for misunderstanding creates new security and privacy risks: attackers can develop third-party skills that operate without users' knowledge or masquerade as native Alexa functions. To mitigate this threat, we make design recommendations to help users distinguish native and third-party skills.

研究动机与目标

• 调查用户对 Alexa 技能是否由亚马逊开发的理解程度。
• 评估用户区分原生 Alexa 功能、第三方技能与恶意技能的能力。
• 识别导致用户混淆的 Alexa 语音用户界面设计缺陷。
• 探讨用户错误地与第三方技能互动所带来的隐私与安全影响。
• 提出设计建议，以提升用户对技能来源的透明度与认知。

提出的方法

• 对 237 名 Alexa 用户（包括本科生和 Mechanical Turk 工作者）进行调查，以评估其对技能来源的理解。
• 向参与者展示三类技能交互的音频与视频片段：原生 Alexa 技能、公开可用的第三方技能以及自定义开发的恶意技能。
• 使用匿名化片段，不透露所展示技能的类型，以避免用户回应产生偏差。
• 分析用户回应，以确定原生技能与第三方技能之间的混淆程度，包括将恶意技能误认为原生技能的情况。
• 评估语音命令结构的一致性与可发现性等设计原则，以识别用户误解的根本原因。
• 基于诺曼的设计原则提出设计建议，重点关注音频/视觉提示与标准化调用短语。

实验结果

研究问题

• RQ1 用户在多大程度上能正确识别某项技能是 Alexa 原生功能还是第三方开发？
• RQ2 用户使用 Alexa 的经验水平如何影响其将第三方技能误认为原生功能的可能性？
• RQ3 Alexa 语音界面的哪些设计特征导致用户对其技能来源产生混淆？
• RQ4 用户如何感知 Alexa 上语音命令的功能与可用性，特别是与第三方技能相关时？
• RQ5 用户错误地与第三方或恶意技能互动所带来的隐私与安全影响是什么？

主要发现

• 即使在被告知技能可能由第三方开发后，仍有 70% 的参与者未能正确识别第三方技能。
• 使用 Alexa 经验更丰富的用户更有可能将第三方技能误认为是原生 Alexa 功能。
• 参与者经常将恶意第三方技能与原生 Alexa 功能混淆，表明存在严重的隐私泄露风险。
• 许多用户并不知道 Alexa 仅支持有限数量的原生功能，而第三方技能可以模仿这些功能。
• 缺乏一致的音频或视觉提示以区分技能来源，是导致用户混淆的主要原因。
• 缺乏标准化的调用短语使得恶意技能能够利用模糊命令（如“请离开”）获得非预期的访问权限。