[논문 리뷰] Measuring the Effectiveness of Privacy Policies for Voice Assistant Applications

Song Liao, Christin Wilson외 3명|arXiv (Cornell University)|2020. 07. 29.

Privacy, Security, and Data Protection참고 문헌 35인용 수 5

한 줄 요약

이 연구는 자연어 처리(NLP)를 활용하여 아마존 알렉사와 구글 어시스턴트 앱의 개인정보 정책에 대한 최초의 대규모 분석을 수행한다. 이는 앱 설명과 정책 간의 일관성 문제를 탐지하기 위한 것이다. 연구 결과, 정책 준수 문제와 공식 앱의 위반 사례가 광범위하게 발견되어 투명성과 사용성 측면에서 심각한 격차가 있음을 드러냈다.

ABSTRACT

Voice Assistants (VA) such as Amazon Alexa and Google Assistant are quickly and seamlessly integrating into people's daily lives. The increased reliance on VA services raises privacy concerns such as the leakage of private conversations and sensitive information. Privacy policies play an important role in addressing users' privacy concerns and informing them about the data collection, storage, and sharing practices. VA platforms (both Amazon Alexa and Google Assistant) allow third-party developers to build new voice-apps and publish them to the app store. Voice-app developers are required to provide privacy policies to disclose their apps' data practices. However, little is known whether these privacy policies are informative and trustworthy or not on emerging VA platforms. On the other hand, many users invoke voice-apps through voice and thus there exists a usability challenge for users to access these privacy policies. In this paper, we conduct the first large-scale data analytics to systematically measure the effectiveness of privacy policies provided by voice-app developers on two mainstream VA platforms. We seek to understand the quality and usability issues of privacy policies provided by developers in the current app stores. We analyzed 64,720 Amazon Alexa skills and 2,201 Google Assistant actions. Our work also includes a user study to understand users' perspectives on VA's privacy policies. Our findings reveal a worrisome reality of privacy policies in two mainstream voice-app stores, where there exists a substantial number of problematic privacy policies. Surprisingly, Google and Amazon even have official voice-apps violating their own requirements regarding the privacy policy.

연구 동기 및 목표

• 음성 보조 기기 플랫폼의 제3자 개발자가 제공하는 개인정보 정책의 품질과 정보성 평가.
• 소스 코드 접근이 불가능한 상황에서, 개인정보 정책과 실제 데이터 처리 방식 간의 일관성 문제 탐지.
• 음성 기반 애플리케이션의 개인정보 정책 관련 사용자 인식과 사용성 과제 이해.
• 아마존과 구글에서 제공하는 공식 음성 앱이 자체 개인정보 정책 요구사항을 준수하는지 평가.

제안 방법

• 공개 앱 스토어에서 64,720개의 아마존 알렉사 스킬과 2,201개의 구글 어시스턴트 액션을 수집 및 분석.
• 자연어 처리(NLP) 기법을 적용하여 개인정보 정책과 앱 설명에서 데이터 처리 방식(수집, 사용, 공유)을 추출.
• 계층적 매핑 방식을 사용해 정책 주장과 앱 설명을 비교하여 일관성 문제 탐지.
• 실제 사용자 116명을 대상으로 사용자 연구를 수행하여 음성 보조 기기 앱의 개인정보 정책에 대한 실제 인식과 사용성 과제 평가.
• 플랫폼별 개인정보 정책 요구사항에 따라 공식 음성 앱의 준수 여부 평가.
• 플랫폼 간 정책의 완전성, 명확성, 일관성에 대한 정량적 분석 수행.

실험 결과

연구 질문

• RQ1 아마존 알렉사와 구글 어시스턴트 플랫폼에서 음성 앱 개발자가 제공하는 개인정보 정책의 총체적 품질은 어떠한가?
• RQ2 소스 코드 접근이 불가능한 상황에서, 음성 앱의 개인정보 정책과 실제 데이터 처리 방식 간의 일관성 문제를 탐지할 수 있는가?
• RQ3 사용자들은 음성 보조 기기 애플리케이션의 개인정보 정책을 어떻게 인식하고 상호작용하는가?
• RQ4 아마존과 구글의 공식 음성 앱이 자체 개인정보 정책 요구사항을 얼마나 준수하고 있는가?

주요 결과

• 아마존 알렉사와 구글 어시스턴트 플랫폼의 상당수 개인정보 정책이 부족하거나 모호하거나 핵심 데이터 처리 방식을 공개하지 못하고 있다.
• 알렉사 스킬의 10퍼센트 이상과 구글 어시스턴트 액션의 거의 20퍼센트가 개인정보 정책이 없거나 핵심 데이터 처리를 다루지 못하고 있다.
• 아마존과 구글의 공식 음성 앱이 각각 자체 플랫폼의 개인정보 정책 공개 및 내용 요구사항을 위반하고 있었다.
• 사용자 연구 결과, 음성 녹음이 제조사에 저장된다는 사실을 알지 못한 VA 사용자가 50퍼센트에 달해 정책의 가시성과 이해도가 낮음을 시사했다.
• 분석된 알렉사 스킬의 38퍼센트와 구글 어시스턴트 액션의 29퍼센트에서 정책 주장과 앱 설명 간 일관성 문제가 발견되었다.
• 양 플랫폼에서 제공되는 개인정보 정책 중 단 12퍼센트만이 핵심 질문 세 가지(어떤 데이터가 수집되는지, 어떻게 사용되는지, 무엇이 공유되는지)에 명확하고 종합적인 답변을 담고 있었다.