[논문 리뷰] Alexa, Who Am I Speaking To? Understanding Users' Ability to Identify Third-Party Apps on Amazon Alexa

D. J. Major, Danny Yuxing Huang외 2명|arXiv (Cornell University)|2019. 10. 30.

Advanced Malware Detection Techniques인용 수 4

한 줄 요약

이 연구는 사용자가 네이티브 Alexa 스킬과 제3자 애플리케이션을 구분할 수 있는 능력을 조사하며, 심지어 경험이 많은 사용자들도 제3자 스킬을 네이티브 기능과 자주 혼동하는 것으로 드러났다. 제3자 개발에 대한 인식에도 불구하고 참가자 70%가 악성 또는 제3자 스킬을 정확히 식별하지 못했으며, 음성 인터페이스 설계가 모호하여 개인정보 유출 및 보안 위험이 심각한 문제로 드러났다.

ABSTRACT

Many Internet of Things (IoT) devices have voice user interfaces (VUIs). One of the most popular VUIs is Amazon's Alexa, which supports more than 47,000 third-party applications ("skills"). We study how Alexa's integration of these skills may confuse users. Our survey of 237 participants found that users do not understand that skills are often operated by third parties, that they often confuse third-party skills with native Alexa functions, and that they are unaware of the functions that the native Alexa system supports. Surprisingly, users who interact with Alexa more frequently are more likely to conclude that a third-party skill is native Alexa functionality. The potential for misunderstanding creates new security and privacy risks: attackers can develop third-party skills that operate without users' knowledge or masquerade as native Alexa functions. To mitigate this threat, we make design recommendations to help users distinguish native and third-party skills.

연구 동기 및 목표

• 사용자가 Alexa 스킬이 아마존에서 개발되었는지 제3자에서 개발되었는지 이해하고 있는지 조사하기.
• 사용자가 네이티브 Alexa 기능, 제3자 스킬, 악성 스킬을 구분할 수 있는 능력을 평가하기.
• 사용자 혼동을 유도하는 Alexa의 음성 사용자 인터페이스 설계 결함을 특정하기.
• 사용자가 제3자 스킬과 오해하게 되는 것이 개인정보 및 보안에 어떤 영향을 미치는지 탐색하기.
• 스킬 출처에 대한 투명성과 사용자 인식을 향상시키기 위한 설계 권고안 제공하기.

제안 방법

• 스킬 출처에 대한 이해도를 평가하기 위해 대학생 및 Mechanical Turk 근로자 포함 총 237명의 Alexa 사용자 대상 설문 조사 실시.
• 네이티브 Alexa 스킬, 공개된 제3자 스킬, 특수 개발된 악성 스킬의 음성 및 영상 클립을 제시.
• 편향을 방지하기 위해 스킬 유형을 드러내지 않은 익명화된 클립을 사용.
• 사용자 응답을 분석하여 네이티브 스킬과 제3자 스킬 간 혼동 수준을 파악하고, 악성 스킬이 네이티브로 잘못 식별된 사례를 포함.
• 사용자 오해의 근본 원인을 특정하기 위해 가시성 및 음성 명령어 구조의 일관성과 같은 설계 원칙 평가.
• 노먼의 설계 원칙을 바탕으로 설계 권고안 제안하며, 주로 음성/시각적 신호 및 표준화된 호출 어휘에 중점을 둠.

실험 결과

연구 질문

• RQ1 사용자는 얼마나 정확하게 스킬이 Alexa에 내장된 것인지 제3자에서 개발된 것인지 식별할 수 있는가?
• RQ2 사용자 경험 수준이 제3자 스킬을 네이티브 Alexa 기능과 혼동할 가능성을 어떻게 영향을 미치는가?
• RQ3 Alexa의 음성 인터페이스에서 스킬 출처에 대한 혼동을 유도하는 설계적 특성은 무엇인가?
• RQ4 사용자는 특히 제3자 스킬과 관련하여 Alexa의 음성 명령어의 功能 및 가용성에 대해 어떻게 인식하는가?
• RQ5 사용자가 제3자 또는 악성 스킬과 오해하게 되는 것이 개인정보 및 보안에 어떤 영향을 미치는가?

주요 결과

• 제3자 스킬을 정확히 식별하지 못한 참가자가 70%에 달했으며, 제3자 개발 가능성을 미리 알렸음에도 불구하고 그러한 실패가 반복됨.
• Alexa를 더 오래 사용한 사용자일수록 제3자 스킬을 네이티브 Alexa 기능으로 잘못 식별할 가능성이 뚜렷이 높아짐.
• 참가자 대부분은 악성 제3자 스킬을 네이티브 Alexa 기능으로 혼동했으며, 이는 개인정보 유출 위험이 매우 높다는 것을 시사함.
• 많은 사용자가 Alexa가 제한된 수의 네이티브 기능만 지원하며, 제3자 스킬이 이러한 기능을 모방할 수 있다는 점을 인지하지 못하고 있음.
• 스킬 출처를 구분할 수 있는 일관된 음성 또는 시각적 신호의 부재가 사용자 혼동의 주요 원인임.
• 표준화된 호출 어휘의 부재로 인해 악성 스킬이 'Please go away'와 같은 모호한 명령을 악용해 의도치 않은 접근을 얻을 수 있음.