[论文解读] Differentially Private Stochastic Gradient Descent for in-RDBMS Analytics.

Xi Wu, Arun Kumar+3 more|arXiv (Cornell University)|Jun 15, 2016

Privacy-Preserving Technologies in Data参考文献 19被引用 12

一句话总结

本文提出了一种专为数据库内分析（in-RDBMS analytics）设计的差分隐私随机梯度下降（SGD）算法，仅在固定次数的训练轮次后添加噪声，以在最小性能开销下确保隐私。该方法在Postgres中的测试准确率显著高于现有隐私SGD方法，展现出无缝集成与高效性。

ABSTRACT

In-RDBMS data analysis has received considerable attention in the past decade and has been widely used in sensitive domains to extract patterns in data using machine learning. For these domains, there has also been growing concern about privacy, and differential privacy has emerged as the gold standard for private data analysis. However, while differentially private machine learning and in-RDBMS data analytics have been studied separately, little previous work has explored private learning in an in-RDBMS system. This work considers a specific algorithm --- stochastic gradient descent (SGD) for differentially private machine learning --- and explores how to integrate it into an RDBMS system. We find that previous solutions on differentially private SGD have characteristics that render them unattractive for an RDBMS implementation. To address this, we propose an algorithm that runs SGD for a constant number of passes and then adds noise to the resulting output. We provide a novel analysis of the privacy properties of this algorithm. We then integrate it, along with two existing versions of differentially private SGD, in the Postgres RDBMS. Experimental results demonstrate that our proposed approach can be easily integrated into an RDBMS, incurs virtually no overhead, and yields substantially better test accuracy than the other private SGD algorithm implementations.

研究动机与目标

• 弥合差分隐私机器学习与数据库内数据分析之间在集成方面的差距，尤其针对隐私敏感领域。
• 识别先前差分隐私SGD方法在RDBMS环境中实际部署受阻的局限性。
• 设计一种高效、易于集成到RDBMS系统中且保持强隐私保障的新隐私SGD算法。
• 在真实RDBMS（Postgres）中，从隐私性、准确率和性能开销三个方面，评估所提方法与现有隐私SGD实现的对比。

提出的方法

• 提出一种新颖的隐私SGD算法，在对数据进行固定次数的训练轮次后，才向最终模型参数添加噪声。
• 利用一种新颖的隐私分析方法，正式建立所提算法的差分隐私保障。
• 在Postgres RDBMS中实现所提算法，并集成两种现有隐私SGD变体，以支持直接的性能对比。
• 利用标准的RDBMS查询处理与执行机制支持训练流水线，最大限度减少对底层系统的修改。
• 仅在训练结束后一次性注入噪声，避免传统隐私SGD中每轮迭代都添加噪声所带来的开销。
• 通过将学习过程嵌入RDBMS引擎，确保与现有基于SQL的数据工作流的兼容性。

实验结果

研究问题

• RQ1 能否高效且有效地将差分隐私SGD算法集成到RDBMS中，以支持数据库内分析？
• RQ2 在RDBMS环境中，所提隐私SGD方法与现有隐私SGD方法相比，在准确率和性能开销方面表现如何？
• RQ3 一种仅在固定次数训练轮次后添加噪声的隐私SGD变体，其隐私保障是什么？
• RQ4 所提方法在关系型数据库环境中，能在多大程度上在确保差分隐私的同时保持高模型准确率？

主要发现

• 所提隐私SGD方法在集成到Postgres RDBMS时，性能开销几乎可以忽略，具备实际生产部署的可行性。
• 该方法在相同RDBMS环境下的测试准确率显著高于两种现有隐私SGD实现。
• 新颖的隐私分析证实，所提算法在理论上满足差分隐私保障。
• 该方法使数据库内直接进行隐私机器学习成为可能，无需依赖外部框架或复杂的数据移动。
• 将隐私学习集成到RDBMS中是可行且高效的，表明隐私保护训练可原生支持于数据库系统中。