[論文レビュー] Measuring the Effectiveness of Privacy Policies for Voice Assistant Applications

Song Liao, Christin Wilson+3 more|arXiv (Cornell University)|Jul 29, 2020

Privacy, Security, and Data Protection参考文献 35被引用数 5

ひとこと要約

本研究では、Amazon AlexaおよびGoogleアシスタントのボイスアシスタントアプリのプライバシーポリシーについて、NLPを用いてアプリの説明とポリシーの不一致を検出することを目的とした、大規模な初の分析を実施した。広範な問題が明らかになった。具体的には、規格不適合のポリシー、公式アプリによる違反を含み、透明性と使いやすさの面で深刻なギャップが存在することが示された。

ABSTRACT

Voice Assistants (VA) such as Amazon Alexa and Google Assistant are quickly and seamlessly integrating into people's daily lives. The increased reliance on VA services raises privacy concerns such as the leakage of private conversations and sensitive information. Privacy policies play an important role in addressing users' privacy concerns and informing them about the data collection, storage, and sharing practices. VA platforms (both Amazon Alexa and Google Assistant) allow third-party developers to build new voice-apps and publish them to the app store. Voice-app developers are required to provide privacy policies to disclose their apps' data practices. However, little is known whether these privacy policies are informative and trustworthy or not on emerging VA platforms. On the other hand, many users invoke voice-apps through voice and thus there exists a usability challenge for users to access these privacy policies. In this paper, we conduct the first large-scale data analytics to systematically measure the effectiveness of privacy policies provided by voice-app developers on two mainstream VA platforms. We seek to understand the quality and usability issues of privacy policies provided by developers in the current app stores. We analyzed 64,720 Amazon Alexa skills and 2,201 Google Assistant actions. Our work also includes a user study to understand users' perspectives on VA's privacy policies. Our findings reveal a worrisome reality of privacy policies in two mainstream voice-app stores, where there exists a substantial number of problematic privacy policies. Surprisingly, Google and Amazon even have official voice-apps violating their own requirements regarding the privacy policy.

研究の動機と目的

• ボイスアシスタントプラットフォームにおけるサードパーティ開発者が提供するプライバシーポリシーの質と情報性を評価すること。
• 特にソースコードが入手できない状況下でも、プライバシーポリシーと実際のデータ処理実態との間に不一致が生じていないかを特定すること。
• ボイスベースのアプリケーションにおけるプライバシーポリシーのユーザー認識および使いやすさの課題を理解すること。
• AmazonおよびGoogleの公式ボイスアプリが、自らのプライバシーポリシー要件を遵守しているかどうかを評価すること。

提案手法

• 公的アプリストアから64,720件のAmazon Alexaスキルおよび2,201件のGoogleアシスタントアクションを収集・分析した。
• 自然言語処理（NLP）技術を用いて、プライバシーポリシーおよびアプリ説明からデータ処理（収集、利用、共有）を抽出した。
• 階層的マッピング手法を用いて、ポリシーの主張とアプリ説明を比較し、不一致を検出する手法を採用した。
• 116名のVAユーザーを対象にユーザースタディを実施し、プライバシーポリシーの実際の認識および使いやすさの課題を評価した。
• プラットフォーム固有のプライバシーポリシー要件に基づき、公式ボイスアプリのコンプライアンスを評価した。
• プラットフォーム間でポリシーの完成度、明確さ、一貫性について定量的分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 Amazon AlexaおよびGoogleアシスタントプラットフォームにおけるボイスアプリ開発者が提供するプライバシーポリシーの全体的な質はいかほどか？
• RQ2 特にソースコードにアクセスできない状況下でも、プライバシーポリシーと実際のデータ処理実態との間に不一致を検出できるか？
• RQ3 ユーザーはボイスアシスタントアプリケーションのプライバシーポリシーをどのように認識し、どのように扱っているか？
• RQ4 AmazonおよびGoogleの公式ボイスアプリは、自らのプライバシーポリシー要件をどの程度遵守しているか？

主な発見

• AlexaおよびGoogleアシスタントプラットフォームの多くは、不完全、曖昧、または重要なデータ処理実態を開示していない。
• Alexaスキルの10％以上、Googleアシスタントアクションのほぼ20％が、プライバシーポリシーが欠落しているか、コアなデータ処理実態をカバーしていない。
• AmazonおよびGoogleの両社が提供する公式ボイスアプリが、自らのプラットフォーム要件に従ったプライバシーポリシーの開示および内容を守っていない。
• ユーザースタディの結果、VAユーザーの50％が、自分の音声録音がメーカーによって保存されていることを認識していなかった。これは、ポリシーの可視性および理解度の低さを示している。
• 分析対象のAlexaスキルの38％およびGoogleアシスタントアクションの29％で、ポリシーの主張とアプリ説明との間に不一致が検出された。
• 両プラットフォーム全体で12％のプライバシーポリシーしか、収集されるデータ、その利用方法、共有先という3つの核心的質問に対して明確かつ包括的な回答を含んでいなかった。