[论文解读] Efficient Private Algorithms for Learning Large-Margin Halfspaces

Huy L. Nguyên, Jonathan Ullman+1 more|arXiv (Cornell University)|Feb 24, 2019

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出了用于学习大间隔超平面的差分隐私算法，其样本复杂度仅依赖于间隔 γ、隐私参数 ε 和精度 α—实现 O(1/αεγ²) 的复杂度，且与维度 d 无关。该方法通过随机投影将维度降低至 O(1/γ²)，随后进行差分隐私的铰链损失最小化或指数机制，匹配的下界证明了间隔依赖性的信息论最优性。

ABSTRACT

We present new differentially private algorithms for learning a large-margin halfspace. In contrast to previous algorithms, which are based on either differentially private simulations of the statistical query model or on private convex optimization, the sample complexity of our algorithms depends only on the margin of the data, and not on the dimension. We complement our results with a lower bound, showing that the dependence of our upper bounds on the margin is optimal.

研究动机与目标

• 设计针对大间隔超平面的差分隐私学习算法，其样本复杂度与数据维度 d 无关。
• 克服基于差分凸优化或统计查询模拟的先前私有算法所存在的维度依赖性样本复杂度问题。
• 实现对间隔 γ 的最优依赖，表明间隔是关键因素，而非维度。
• 通过构造匹配的下界，证明上界中对间隔的依赖在信息论上是最优的。
• 提供两种算法：一种运行时间为多项式时间且满足 (ε,δ)-DP，另一种运行时间为指数时间但满足纯 (ε,0)-DP。

提出的方法

• 使用随机投影将环境维度 d 降低至 O(1/γ²)，同时保持间隔结构。
• 在投影后的数据上应用一个差分隐私算法以最小化铰链损失，从而学习一个超平面。
• 或者，在投影空间中的超平面集合上使用指数机制，选择一个私有的、高精度的分类器。
• 通过在投影空间中仔细添加噪声并进行敏感性分析，确保隐私性。
• 利用测度集中性来界定投影向量落在决策边界附近的概率。
• 通过构造具有大汉明距离的难以区分的超平面，证明下界，表明任何 (ε,0)-差分隐私算法学习大间隔超平面至少需要 Ω(1/εγ²) 个样本。

实验结果

研究问题

• RQ1 能否实现样本复杂度与维度 d 无关的大间隔超平面差分隐私学习？
• RQ2 在样本复杂度中对间隔 γ 的依赖是否对私有超平面学习是最优的？
• RQ3 能否实现纯差分隐私 (ε,0)-DP，且样本复杂度与非私有边界仅相差隐私开销？
• RQ4 在私有超平面学习中，隐私、精度与维度之间的根本权衡是什么？
• RQ5 随机投影能否在保持隐私性和泛化能力的同时，用于降低超平面学习中的维度？

主要发现

• 所提出的算法实现样本复杂度 O(1/αεγ²)，该复杂度仅依赖于间隔 γ、隐私 ε 和精度 α，且与数据维度 d 无关。
• 第一种算法运行时间为多项式时间，满足 (ε,δ)-差分隐私，且具有相同的样本复杂度。
• 第二种算法实现纯 (ε,0)-差分隐私，但其运行时间为 1/γ² 的指数时间，表明隐私强度与效率之间存在权衡。
• 下界证明表明，任何 (ε,0)-差分隐私算法学习大间隔超平面至少需要 Ω(1/εγ²) 个样本，与上界仅相差常数因子。
• 随机投影的使用至关重要：若在高维空间中直接应用私有铰链损失最小化或指数机制，则需要多项式时间 d 的样本。
• 结果表明，间隔是私有超平面学习的正确复杂度参数，而非维度，且当间隔较大时，隐私开销可降至最低。