[论文解读] Multi-Epoch Matrix Factorization Mechanisms for Private Machine Learning

Christopher A. Choquette-Choo, H. Brendan McMahan+2 more|arXiv (Cornell University)|Nov 12, 2022

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文提出了一种用于差分隐私（DP）机器学习的多轮次矩阵分解机制，将在线矩阵分解扩展至支持对数据的多次遍历。它提出了一种在多参与敏感性约束下的最优矩阵计算的闭式对偶公式，并设计了一种基于快速傅里叶变换（FFT）的高效机制，实现了当前最优的隐私-效用权衡——即使在低隐私预算（ε ≈ 2）下且无隐私放大效应时，也优于DP-SGD。

ABSTRACT

We introduce new differentially private (DP) mechanisms for gradient-based machine learning (ML) with multiple passes (epochs) over a dataset, substantially improving the achievable privacy-utility-computation tradeoffs. We formalize the problem of DP mechanisms for adaptive streams with multiple participations and introduce a non-trivial extension of online matrix factorization DP mechanisms to our setting. This includes establishing the necessary theory for sensitivity calculations and efficient computation of optimal matrices. For some applications like $>\!\! 10,000$ SGD steps, applying these optimal techniques becomes computationally expensive. We thus design an efficient Fourier-transform-based mechanism with only a minor utility loss. Extensive empirical evaluation on both example-level DP for image classification and user-level DP for language modeling demonstrate substantial improvements over all previous methods, including the widely-used DP-SGD . Though our primary application is to ML, our main DP results are applicable to arbitrary linear queries and hence may have much broader applicability.

研究动机与目标

• 为解决现有DP机制仅限于单轮训练的局限性，该局限在现代机器学习流水线中并不自然。
• 形式化一般参与模式下向量贡献的矩阵机制敏感性计算，使该方法可应用于高维机器学习模型。
• 开发一种在多参与约束下实现最优矩阵分解的计算高效方法，尤其适用于大规模SGD训练。
• 设计一种近似最优的基于FFT的机制，在保持效用的同时降低计算成本，特别适用于长周期训练。
• 在示例级别和用户级别DP设置下，通过实证验证所提机制，证明其在隐私-效用权衡方面表现更优。

提出的方法

• 提出一种在一般参与模式下计算矩阵机制敏感性的框架，给出理论条件以确保可计算性及向量到标量的约化（推论2.1，定理H.1）。
• 推导出在多参与敏感性约束下最优矩阵分解损失最小化问题的闭式对偶函数（公式6），推广了先前工作。
• 提出一种基于FFT的机制，利用循环矩阵和托普利茨矩阵结构，实现O(n log n)时间复杂度的矩阵-向量乘积高效计算。
• 采用改进的基于在线Honaker的解码器处理流式前缀和，通过优化树结构补全以提升DP-FTRL风格流水线中的精度。
• 利用打标法与敏感性分析（定理2.1）优化多轮次设置下的矩阵设计，实现接近最优的性能。
• 将矩阵机制应用于DP-ML中的线性查询，其理论保证可推广至在线主成分分析、边际估计和top-k选择等任务。

实验结果

研究问题

• RQ1 能否将矩阵分解机制扩展至支持对数据集的多次遍历（轮次），同时保持差分隐私？
• RQ2 在多参与和向量贡献条件下，敏感性计算与最优矩阵分解保持可计算性的理论条件是什么？
• RQ3 如何降低大规模训练（如SGD步数超过10,000）下最优矩阵分解的计算成本？
• RQ4 基于FFT的机制是否能在多轮次设置下实现接近最优的效用，同时显著降低计算量？
• RQ5 在示例级别和用户级别DP设置下，所提机制与DP-SGD及先前矩阵机制相比，在隐私-效用权衡方面表现如何？

主要发现

• 所提出的最优多轮次矩阵机制在隐私预算低至ε ≈ 2时，优于使用隐私放大的DP-SGD，在CIFAR-10图像分类任务中实现了当前最优的准确率。
• 基于FFT的机制实现了接近最优的性能，仅造成轻微效用损失，使大规模训练下的高效计算成为可能。
• 与全批量差分隐私梯度下降相比，该方法将计算成本降低了340倍，同时逼近最优DP学习的理论上限。
• 理论分析表明，多参与下的敏感性计算可能为NP难问题，但在特定条件下可计算（推论2.1，定理H.1），从而支持实际优化。
• 实证结果表明，在12次重复实验中均表现出一致改进，95%自 resampling 置信区间验证了其鲁棒性与泛化能力。
• 该框架具有广泛适用性，不仅限于机器学习，还可推广至任意线性查询，如在线主成分分析、边际估计和top-k选择。