[论文解读] Encrypted accelerated least squares regression

Pedro M. Esperança, Louis J. M. Aslett+1 more|arXiv (Cornell University)|Mar 2, 2017

Statistical Methods and Inference被引用 4

一句话总结

本文提出了一种基于全同态加密（FHE）的加密加速最小二乘回归方法，实现了在加密数据上进行隐私保护的统计建模。该方法提出了一种新颖的梯度下降加速技术，在FHE约束条件下优于标准方法，实现了可证明的参数边界下正确解密，并在真实世界数据集（如情绪稳定性数据和前列腺癌数据）上展示了实际的运行时间和内存效率。

ABSTRACT

Information that is stored in an encrypted format is, by definition, usually not amenable to statistical analysis or machine learning methods. In this paper we present detailed analysis of coordinate and accelerated gradient descent algorithms which are capable of fitting least squares and penalised ridge regression models, using data encrypted under a fully homomorphic encryption scheme. Gradient descent is shown to dominate in terms of encrypted computational speed, and theoretical results are proven to give parameter bounds which ensure correctness of decryption. The characteristics of encrypted computation are empirically shown to favour a non-standard acceleration technique. This demonstrates the possibility of approximating conventional statistical regression methods using encrypted data without compromising privacy.

研究动机与目标

• 在不进行解密的情况下，实现对全同态加密（FHE）保护下的数据进行统计回归。
• 解决标准优化方法在FHE计算约束下的性能局限。
• 开发并验证一种专为同态计算设计的新型加速技术。
• 提供理论边界，确保在FHE中回归参数的正确解密。
• 在真实世界生物医学数据集上展示实际可行性，实现可接受的运行时间和内存使用。

提出的方法

• 将坐标下降和梯度下降算法适配用于全同态加密（FHE），特别采用Fan-Vercauteren FHE方案。
• 提出一种非标准的加速技术——可变加权轨迹（VWT），专为FHE的高计算成本和有限操作而优化。
• 采用加密缩放以保持数值稳定性，并确保回归系数的正确解密。
• 通过幂法近似计算XXT的谱范数，推导出步长δ，以避免泄露敏感数据。
• 应用正则化（岭惩罚α）以提升收敛性和泛化能力，α通过安全多方计算或差分隐私选择。
• 在FHE中应用类似自助法的操作，以管理噪声增长并保持乘法深度在计算限制范围内。

实验结果

研究问题

• RQ1 能否在FHE保护的完全加密数据上，准确且高效地计算标准最小二乘回归和岭回归？
• RQ2 传统优化加速技术在FHE计算约束下的表现如何？
• RQ3 针对FHE回归，哪种新型加速方法最优？与标准方法相比有何差异？
• RQ4 算法参数的理论边界是什么，可确保在FHE中正确解密回归系数？
• RQ5 在真实世界数据集上，加密回归的实际运行时间和内存成本如何？

主要发现

• 在FHE环境下，加密梯度下降（ELS-GD）方法在计算速度上优于标准方法，情绪稳定性数据（P=2, N=28）的收敛时间仅需12秒。
• 在FHE环境下，可变加权轨迹（VWT）加速技术相比标准动量法显著提升了收敛速度。
• 对于前列腺癌数据集（N=97, P=8），在4次迭代后，ELS-GD结合VWT的预测结果与标准RLS结果相差小于1%，此时α=30。
• 当乘法深度固定时，运行时间大致与样本量N和预测变量数量P呈线性增长，内存使用量也类似增长。
• 该方法在可证明的参数边界下实现了正确解密，确保了同态计算约束下的统计有效性。
• 实证结果表明，传统加速技术在FHE环境下表现次优，因此需要为同态计算量身定制的新算法设计。