[论文解读] Analyzing Privacy Policies Using Contextual Integrity Annotations

Yan Shvartzshnaider, Noah Apthorpe+2 more|arXiv (Cornell University)|Sep 6, 2018

Privacy, Security, and Data Protection参考文献 23被引用 8

一句话总结

本文提出使用情境完整性（CI）框架对隐私政策进行标注与分析，通过Facebook在GDPR前后隐私政策的案例研究，展示了其有效性。研究显示，众包可实现高精度的CI标注（0.9的词级精确度），从而实现对隐私政策中信息流的可扩展、严谨分析，以检测模糊性、参数缺失及参数膨胀问题。

ABSTRACT

In this paper, we demonstrate the effectiveness of using the theory of contextual integrity (CI) to annotate and evaluate privacy policy statements. We perform a case study using CI annotations to compare Facebook's privacy policy before and after the Cambridge Analytica scandal. The updated Facebook privacy policy provides additional details about what information is being transferred, from whom, by whom, to whom, and under what conditions. However, some privacy statements prescribe an incomprehensibly large number of information flows by including many CI parameters in single statements. Other statements result in incomplete information flows due to the use of vague terms or omitting contextual parameters altogether. We then demonstrate that crowdsourcing can effectively produce CI annotations of privacy policies at scale. We test the CI annotation task on 48 excerpts of privacy policies from 17 companies with 141 crowdworkers. The resulting high precision annotations indicate that crowdsourcing could be used to produce a large corpus of annotated privacy policies for future research.

研究动机与目标

• 为应对在GDPR等监管变革背景下，缺乏系统化、形式化方法来评估隐私政策清晰度与完整性的现状。
• 探究情境完整性（CI）框架是否能够为隐私政策中的信息流提供结构化、可分析的表达形式。
• 评估众包是否能够在大规模范围内生成可靠、高精度的隐私政策节选CI标注。
• 识别在重大监管更新前后隐私政策中持续存在的问题，如语言模糊、参数缺失及参数膨胀。
• 通过建立可扩展的标注语料库方法，为未来隐私政策透明度研究奠定基础。

提出的方法

• 应用CI框架，将信息流建模为五元组参数：发送方、接收方、主体、信息类型（属性）及传输原则（条件）。
• 人工使用CI框架标注17家公司的隐私政策节选，重点关注数据传输声明。
• 设计并开展一项案例研究，通过CI标注对比Facebook在GDPR前后的隐私政策，评估信息流描述的变化。
• 在Amazon Mechanical Turk（AMT）上设计并部署众包任务，从非专家处收集CI标注。
• 通过词级精确度评分，将众包标注与专家标注的基准数据进行对比。
• 利用高精度标注结果，为大规模隐私政策分析及未来机器学习训练奠定基础。

实验结果

研究问题

• RQ1 在GDPR之后，隐私政策在信息流描述的清晰度与完整性方面改善程度如何？
• RQ2 在像GDPR这样的重大监管更新后，隐私政策中信息流的数量与结构发生了怎样的变化？
• RQ3 非专家众包工作者能否生成可靠且精确的隐私政策节选CI标注？
• RQ4 哪些类型的隐私政策声明——如缺少参数、语言模糊或参数膨胀——最常阻碍用户理解？
• RQ5 CI框架能否系统性地检测并比较不同隐私政策中不完整、模糊或过于复杂的描述？

主要发现

• 更新后的Facebook隐私政策所描述的信息流数量接近GDPR前版本的两倍，但并未提升清晰度或完整性。
• 在GDPR前政策中45%的信息流声明，以及在更新后政策中63%的声明，存在不完整问题，缺少一个或多个CI参数。
• 在两个政策版本中，超过50%的声明使用了模糊或含糊的语言，损害了用户的理解能力。
• 大量声明存在“参数膨胀”问题，即同一参数类型被多次重复，增加了认知负担。
• 与专家标注的基准数据相比，众包标注达到了0.9的高词级精确度，表明其具有高度可靠性与可用性。
• 众包标注的高精确度表明，CI标注具有直观性与可扩展性，支持未来研究与工具开发所需的大规模语料库构建。