[论文解读] Imputation under Differential Privacy

Soumojit Das, Jorg Dreschler+2 more|arXiv (Cornell University)|Jun 30, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文研究了差分隐私（DP）与数据填补之间的相互作用，表明对填补后的数据直接应用DP会因缺失值导致的敏感度增加而严重损害隐私。本文提出一种两阶段DP方法——在填补和分析阶段均应用隐私保护机制，证明该方法可维持隐私保证并减少噪声，从而在固定隐私预算下提升均值估计的实用性。

ABSTRACT

The literature on differential privacy almost invariably assumes that the data to be analyzed are fully observed. In most practical applications this is an unrealistic assumption. A popular strategy to address this problem is imputation, in which missing values are replaced by estimated values given the observed data. In this paper we evaluate various approaches to answering queries on an imputed dataset in a differentially private manner, as well as discuss trade-offs as to where along the pipeline privacy is considered. We show that if imputation is done without consideration to privacy, the sensitivity of certain queries can increase linearly with the number of incomplete records. On the other hand, for a general class of imputation strategies, these worst case scenarios can be greatly reduced by ensuring privacy already during the imputation stage. We use a simulated dataset to demonstrate these results across a number of imputation schemes (both private and non-private) and examine their impact on the utility of a private query on the data.

研究动机与目标

• 研究差分隐私与数据填补的相互作用，特别是当存在缺失数据时。
• 识别仅在填补后分析阶段应用DP所引发的隐私风险。
• 提出一种在填补和分析阶段均确保差分隐私的方法，以维持强隐私保障。
• 评估在差分隐私下处理缺失数据的不同策略所带来的实用性权衡。
• 证明隐私保护性填补可带来更准确且偏差更小的查询结果。

提出的方法

• 作者将填补建模为一个函数 ι，将不完整数据集映射为完整观测数据集，确保观测值保持不变。
• 利用群体隐私建立理论边界，表明相邻数据集在填补后最多可在 n_mis + 1 个条目上不同，从而增加敏感度。
• 提出一种两阶段DP机制：首先使用 ε₁-差分隐私方法估计填补模型参数；其次对填补后的数据应用 ε₂-差分隐私查询机制。
• 应用序列组合定理证明整体机制为 (ε₁ + ε₂)-DP，确保端到端隐私保障。
• 实现并比较三种策略：可用案例分析、仅在分析阶段应用DP，以及在填补和分析阶段均应用DP。
• 实验使用模拟的OLS回归填补方法，结合拉普拉斯机制进行均值查询，比较在 ε = 1 条件下各策略的偏差与方差。

实验结果

研究问题

• RQ1 仅在填补后分析阶段应用差分隐私存在哪些隐私风险？
• RQ2 缺失值数量如何影响填补数据集中的敏感度与隐私预算？
• RQ3 在填补阶段强制实施差分隐私是否能提升整体隐私与实用性？
• RQ4 在填补与分析阶段之间分配隐私预算的选择如何影响查询结果的准确性？
• RQ5 在差分隐私下，不同缺失数据处理策略的均值估计相对偏差与方差如何？

主要发现

• 仅在填补后分析阶段应用差分隐私可能导致隐私退化，因为查询的敏感度随缺失值数量增加而上升。
• 填补引起的最坏情况隐私损失被限制在 e^(n_mis + 1)ε 以内，当缺失值较多时该值可能非常显著。
• 使用差分隐私模型参数估计填补缺失值，再结合差分隐私查询机制，可确保 (ε₁ + ε₂)-DP，从而维持正式的隐私保障。
• 仿真结果表明，可用案例分析在均值估计中引入了显著偏差，而两种填补策略均产生无偏结果。
• 两阶段DP方法（在填补和分析阶段均应用隐私保护）相比仅在分析阶段应用DP，显著降低了不确定性（置信区间更紧）。
• 在相同隐私预算下，两阶段方法实现了更好的实用性，证明早期隐私保护可提升准确性。