[论文解读] Technical Privacy Metrics: a Systematic Survey

Isabel Wagner, David Eckhoff|DMU Open Research Archive (De Montfort University)|Dec 1, 2015

Privacy-Preserving Technologies in Data参考文献 155被引用 24

一句话总结

本文系统性地综述了80余项技术性隐私度量方法，按攻击者模型、数据源、输入和输出度量进行分类。提出一个九问框架以指导度量选择，并识别关键研究空白，倡导采用多度量评估以确保在多样化系统和应用场景下实现稳健的隐私评估。

ABSTRACT

The goal of privacy metrics is to measure the degree of privacy enjoyed by users in a system and the amount of protection offered by privacy-enhancing technologies. In this way, privacy metrics contribute to improving user privacy in the digital world. The diversity and complexity of privacy metrics in the literature makes an informed choice of metrics challenging. As a result, instead of using existing metrics, new metrics are proposed frequently, and privacy studies are often incomparable. In this survey we alleviate these problems by structuring the landscape of privacy metrics. To this end, we explain and discuss a selection of over eighty privacy metrics and introduce categorizations based on the aspect of privacy they measure, their required inputs, and the type of data that needs protection. In addition, we present a method on how to choose privacy metrics based on nine questions that help identify the right privacy metrics for a given scenario, and highlight topics where additional work on privacy metrics is needed. Our survey spans multiple privacy domains and can be understood as a general framework for privacy measurement.

研究动机与目标

• 为解决隐私度量缺乏系统性概览的问题，该问题导致评估不一致和度量开发重复。
• 基于攻击者模型、数据源、输入和输出度量，提供隐私度量的全面分类体系。
• 提出一个包含九个问题的决策框架，以指导研究人员根据具体场景选择合适的隐私度量。
• 识别出如度量组合、聚合以及相互依赖隐私等尚未充分研究的领域，以供未来研究。
• 推动使用多种互补度量，以确保隐私评估的稳健性和全面性。

提出的方法

• 作者基于四个核心特征对80余项隐私度量进行分析与分类：攻击者模型、数据源、输入和输出度量。
• 将输出度量划分为八类：不确定性、信息增益/损失、数据相似性、不可区分性、攻击者成功概率、误差、时间以及准确率/精确度。
• 通过系统性文献综述筛选度量，依据引用频率和概念潜力，聚焦于适用于隐私增强技术（PETs）的技术性度量。
• 提出一个九问框架，以指导研究人员根据系统上下文、威胁模型和隐私目标选择最合适的度量。
• 采用一致性、单调性和可解释性等标准评估度量质量，参考先前的实证研究。
• 探讨度量组合与聚合的方法，包括归一化、敏感性加权和上下文扩展，以提升可解释性和实用性。

实验结果

研究问题

• RQ1 在攻击者建模、数据源、输入和输出度量方面，有哪些关键特征可区分隐私度量？
• RQ2 研究人员如何系统性地为特定系统或PET选择最合适的隐私度量？
• RQ3 当前隐私度量在一致性、单调性和可解释性方面存在哪些局限？
• RQ4 通过何种方式可将多个隐私度量组合或聚合，以提供更全面的隐私评估？
• RQ5 隐私度量开发中存在哪些关键研究空白，特别是关于相互依赖隐私和度量质量评估方面？

主要发现

• 该综述识别并分类了六个隐私领域（包括数据库、通信系统和社会网络）中的80余项技术性隐私度量。
• 输出度量类别（如不确定性、信息增益和不可区分性）为跨不同隐私属性比较度量提供了结构化方式。
• 九问框架使研究人员能够基于系统特定需求、攻击者能力及数据敏感性，系统性地评估和选择度量。
• 通过归一化或敏感性加权组合度量可提升可解释性，但最优方法尚不明确，需进一步研究。
• 研究揭示了度量质量存在显著差异，现有度量中观察到不一致性和较差的单调性，凸显了对严格评估框架的需求。
• 在度量组合、聚合以及相互依赖隐私建模方面仍存在研究空白，尤其在动态或多参与方系统中。