[论文解读] Castell: Scalable Joint Probability Estimation of Multi-dimensional Data Randomized with Local Differential Privacy

Hiroaki Kikuchi|arXiv (Cornell University)|Dec 3, 2022

Survey Sampling and Estimation Techniques被引用 4

一句话总结

本文提出 Castell，一种可扩展的局部差分隐私（LDP）方案，通过独立随机化每个属性并聚合所得随机化矩阵，实现对多维联合概率分布的估计。该方法可实现线性计算成本的高效矩阵求逆与可控存储，相比先前最先进的方法（如 LoPub），显著提升了准确性，平均估计误差分别为 0.0099（截断）和 0.0155（混合），相较于 LoPub 的 0.03 和 0.04 显著降低。

ABSTRACT

Performing randomized response (RR) over multi-dimensional data is subject to the curse of dimensionality. As the number of attributes increases, the exponential growth in the number of attribute-value combinations greatly impacts the computational cost and the accuracy of the RR estimates. In this paper, we propose a new multi-dimensional RR scheme that randomizes all attributes independently, and then aggregates these randomization matrices into a single aggregated matrix. The multi-dimensional joint probability distributions are then estimated. The inverse matrix of the aggregated randomization matrix can be computed efficiently at a lightweight computation cost (i.e., linear with respect to dimensionality) and with manageable storage requirements. To overcome the limitation of accuracy, we propose two extensions to the baseline protocol, called {\em hybrid} and {\em truncated} schemes. Finally, we have conducted experiments using synthetic and major open-source datasets for various numbers of attributes, domain sizes, and numbers of respondents. The results using UCI Adult dataset give average distances between the estimated and the real (2 through 6-way) joint probability are $0.0099$ for {\em truncated} and $0.0155$ for {\em hybrid} schemes, whereas they are $0.03$ and $0.04$ for LoPub, which is the state-of-the-art multi-dimensional LDP scheme.

研究动机与目标

• 通过克服域大小和计算成本的指数级增长，解决多维局部差分隐私（LDP）中的维度灾难问题。
• 在保持可扩展性和低计算开销的同时，保留高维数据中的跨属性依赖关系。
• 克服独立随机化（RR-Independent）的准确性限制以及高维下联合随机化（RR-Joint）的不可行性。
• 开发一种在 LDP 保障下，用于估计多维联合概率分布的实用、高效且准确的方法。
• 通过自适应混合与截断方案，构建一个在隐私预算、维度与估计准确性之间实现平衡的框架。

提出的方法

• 提出一种新型 RR 方案 RR-Ind-Joint，独立随机化每个属性，并将所得随机化矩阵聚合为单一聚合矩阵。
• 引入 Castell 算法，以线性于维度的计算成本和 d^w 的存储成本，高效求逆聚合随机化矩阵，与列联表需求一致。
• 设计一种混合 RR 方案，根据隐私预算、维度和受访人数动态在 RR-Independent 与 RR-Ind-Joint 之间切换。
• 开发一种截断方案，限制随机化矩阵中的非零条目数量，以减少噪声并提升准确性。
• 为 RR-Ind-Joint 和 RR-Independent 方案推导估计误差的理论上限，以指导参数选择。
• 使用合成数据集和真实世界数据集（包括 UCI Adult）评估性能，涵盖不同维度、域大小和受访人数。

实验结果

研究问题

• RQ1 能否将多维数据中属性的独立随机化与矩阵聚合相结合，实现在 LDP 下的准确联合概率估计？
• RQ2 Castell 算法是否能实现聚合随机化矩阵的高效求逆，具备线性时间复杂度和可控存储？
• RQ3 混合方案如何通过自适应切换独立与联合随机化策略，提升估计准确性？
• RQ4 与基线 RR-Ind-Joint 和 RR-Independent 相比，截断方案在多大程度上降低了估计误差？
• RQ5 在不同属性数量和隐私预算下，Castell 与最先进的 LDP 方案（如 LoPub 和 LoCop）相比，准确性如何？

主要发现

• Castell 算法实现了聚合随机化矩阵的高效求逆，计算成本与维度成线性关系，存储成本为 d^w，使其可扩展至高维数据。
• 在 UCI Adult 数据集上，截断方案在 2–6 重联合概率下的平均估计误差为 0.0099，优于 LoPub 的 0.03。
• 混合方案的平均误差为 0.0155，显著低于 LoPub 的 0.04，表明在相同条件下实现了更高的准确性。
• 所提出的混合方案通过根据隐私预算和维度等输入参数在 RR-Independent 与 RR-Ind-Joint 之间切换，有效平衡了可扩展性与准确性。
• 为 RR-Ind-Joint 和 RR-Independent 方案推导了估计误差的理论上限，为自适应参数选择提供了基础。
• 实验结果表明，Castell 在多种数据集和配置下均保持了高准确性，包括合成数据和开源真实世界数据。