[论文解读] An end-to-end Differentially Private Latent Dirichlet Allocation Using a Spectral Algorithm

Christopher DeCarolis, Mukul Ram+3 more|arXiv (Cornell University)|May 25, 2018

Privacy-Preserving Technologies in Data参考文献 27被引用 5

一句话总结

本文提出了首个基于矩阵与张量分解的端到端差分隐私谱方法，用于潜在狄利克雷分配（LDA）。通过识别算法边的隐私保护配置，并严格分析灵敏度与效用之间的权衡，该方法在差分隐私下实现了模型参数的一致恢复，其效用表现优于所有隐私环境下基于私有变分推断的方法。

ABSTRACT

We provide an end-to-end differentially private spectral algorithm for learning LDA, based on matrix/tensor decompositions, and establish theoretical guarantees on utility/consistency of the estimated model parameters. The spectral algorithm consists of multiple algorithmic steps, named as "{edges}", to which noise could be injected to obtain differential privacy. We identify \emph{subsets of edges}, named as "{configurations}", such that adding noise to all edges in such a subset guarantees differential privacy of the end-to-end spectral algorithm. We characterize the sensitivity of the edges with respect to the input and thus estimate the amount of noise to be added to each edge for any required privacy level. We then characterize the utility loss for each configuration as a function of injected noise. Overall, by combining the sensitivity and utility characterization, we obtain an end-to-end differentially private spectral algorithm for LDA and identify the corresponding configuration that outperforms others in any specific regime. We are the first to achieve utility guarantees under the required level of differential privacy for learning in LDA. Overall our method systematically outperforms differentially private variational inference.

研究动机与目标

• 开发一种LDA的差分隐私学习算法，确保隐私性与模型参数的一致恢复。
• 识别在噪声注入下可保持端到端差分隐私的算法边配置。
• 对每个边的输入变化敏感度进行表征，以实现精确的噪声校准。
• 量化每种配置下的效用损失，并为给定的隐私预算识别最优配置。
• 在隐私约束下，优于现有差分隐私LDA方法，特别是私有变分推断，在模型质量方面表现更优。

提出的方法

• 该方法基于矩阵/张量分解的谱算法，通过矩方法学习LDA参数。
• 一个包含10条边（e₀至e₉）的算法流程图表示从原始矩到最终主题-词分布的中间计算步骤。
• 在选定的边子集（称为“配置”）中注入噪声，以确保差分隐私，利用组合与后处理定理。
• 利用矩的性质及矩阵/张量范数，对每条边的灵敏度进行解析界 bounds，通过高斯机制实现精确的噪声校准。
• 将效用损失建模为注入噪声的函数，并选择使隐私约束下似然最大的最优配置。
• 通过向充分统计量添加高斯噪声，实现差分隐私的似然计算，确保端到端隐私。

实验结果

研究问题

• RQ1 哪些算法边子集（配置）在注入噪声时可实现端到端差分隐私？
• RQ2 如何对谱LDA流水线中每条边的灵敏度进行解析界 bounds，以实现隐私预算校准？
• RQ3 每种配置下隐私与效用的权衡如何？在给定隐私水平下，哪种配置最小化效用损失？
• RQ4 差分隐私谱LDA算法能否在模型质量上优于私有变分推断？
• RQ5 如何在不泄露私有信息的前提下实现差分隐私的似然估计？

主要发现

• 所提方法是首个基于谱方法实现端到端LDA学习，并在理论上同时保证一致性和差分隐私的算法。
• 识别出四种不同的噪声注入边配置，每种均通过组合与后处理定理确保端到端差分隐私。
• 利用矩阵与张量范数不等式对每条边的灵敏度进行界 bounds，实现对任意(ε,δ)-差分隐私级别的精确噪声校准。
• 将每种配置的效用损失量化为注入噪声的函数，从而可为给定隐私预算选择最优配置。
• 在相同隐私约束下，该方法在模型质量上系统性优于差分隐私变分推断，表现为更高的似然值与主题一致性。
• 在Wikipedia数据集上的实验中，当ε=1时，成功恢复出如“军事行动”和“古典音乐”等语义连贯的主题，展示了实际效用。