[论文解读] Extremal Mechanisms for Local Differential Privacy

Peter Kairouz, Sewoong Oh+1 more|arXiv (Cornell University)|Jul 4, 2014

Privacy-Preserving Technologies in Data参考文献 35被引用 266

一句话总结

本文引入阶梯机制作为局部差分隐私的最优隐私化方案，证明其在广义信息论效用函数下，于隐私约束条件下最大化效用。研究表明，隐私-效用优化可简化为有限维线性规划问题，且在低隐私和高隐私区域，二元机制与随机化响应机制普遍最优。

ABSTRACT

Local differential privacy has recently surfaced as a strong measure of privacy in contexts where personal information remains private even from data analysts. Working in a setting where both the data providers and data analysts want to maximize the utility of statistical analyses performed on the released data, we study the fundamental trade-off between local differential privacy and utility. This trade-off is formulated as a constrained optimization problem: maximize utility subject to local differential privacy constraints. We introduce a combinatorial family of extremal privatization mechanisms, which we call staircase mechanisms, and show that it contains the optimal privatization mechanisms for a broad class of information theoretic utilities such as mutual information and $f$-divergences. We further prove that for any utility function and any privacy level, solving the privacy-utility maximization problem is equivalent to solving a finite-dimensional linear program, the outcome of which is the optimal staircase mechanism. However, solving this linear program can be computationally expensive since it has a number of variables that is exponential in the size of the alphabet the data lives in. To account for this, we show that two simple privatization mechanisms, the binary and randomized response mechanisms, are universally optimal in the low and high privacy regimes, and well approximate the intermediate regime.

研究动机与目标

• 解决数据隐私分析中局部差分隐私与统计效用之间的基本权衡问题。
• 将隐私-效用权衡形式化为在局部差分隐私约束下最大化效用的约束优化问题。
• 识别出一类组合机制——阶梯机制，其包含广泛效用函数类下的最优解。
• 建立隐私-效用问题的求解可简化为求解有限维线性规划。
• 刻画在极端隐私区域（低ε与高ε）下二元与随机化响应机制的最优性。

提出的方法

• 通过任意输出在两个输入下的条件概率之比不超过 e^ε 的条件来定义局部差分隐私。
• 引入阶梯机制作为具有结构化输出概率的组合式隐私化机制族。
• 证明对于任意效用函数与隐私水平 ε，最优机制均为有限维线性规划的解。
• 利用效用函数的次可加性建立数据处理不等式，表明后处理无法提升效用。
• 分析小 ε 下效用的渐近行为，推导随机化响应的最优性条件。
• 证明在高隐私区域（ε ≥ ε*）时，随机化响应机制达到互信息的上界，从而证明其最优性。

实验结果

研究问题

• RQ1 在局部差分隐私约束下，最大化效用的最优隐私化机制是什么？
• RQ2 阶梯机制在哪些效用函数类中达到最优？
• RQ3 隐私-效用优化问题能否简化为有限维线性规划？
• RQ4 二元与随机化响应机制是否在低隐私与高隐私区域普遍最优？
• RQ5 在中间隐私区域，简单机制对最优解的近似程度如何？

主要发现

• 阶梯机制包含了所有信息论效用函数（包括互信息与 f-散度）下的最优隐私化机制。
• 隐私-效用最大化问题等价于求解有限维线性规划，其最优解为阶梯机制。
• 在低隐私区域（ε → 0）与高隐私区域（ε → ∞）中，二元与随机化响应机制普遍最优。
• 当 ε ≥ ε* 时，随机化响应机制达到互信息的上界，证明其在高隐私区域的最优性。
• 对于任意效用函数与隐私水平 ε，最优机制是输入字母表大小指数级增长的线性规划的解。
• 阶梯机制完整刻画了所有隐私水平下的最优机制，且在中间区域，简单机制能良好近似最优解。