[论文解读] A Hybrid-Domain Framework for Secure Gradient Tree Boosting.

Wenjing Fang, Chaochao Chen+7 more|arXiv (Cornell University)|May 18, 2020

Cryptography and Data Security参考文献 33被引用 17

一句话总结

本文提出一种混合安全域框架，结合同态加密（HE）与秘密共享（SS），实现在垂直划分数据上的安全、隐私保护型XGBoost训练。通过实现HE与SS域之间的双向转换，该框架提升了效率与灵活性，在减少泄露的同时，经基准数据集和真实世界数据集验证，实现了安全的梯度树提升。

ABSTRACT

Gradient tree boosting (e.g. XGB) is one of the most widely usedmachine learning models in practice. How to build a secure XGB inface of data isolation problem becomes a hot research topic. However, existing works tend to leak intermediate information and thusraise potential privacy risk. In this paper, we propose a novel framework for two parties to build secure XGB with vertically partitioneddata. Specifically, we associate Homomorphic Encryption (HE) domain with Secret Sharing (SS) domain by providing the two-waytransformation primitives. The framework generally promotes theefficiency for privacy preserving machine learning and offers theflexibility to implement other machine learning models. Then weelaborate two secure XGB training algorithms as well as a corresponding prediction algorithm under the hybrid security domains.Next, we compare our proposed two training algorithms throughboth complexity analysis and experiments. Finally, we verify themodel performance on benchmark dataset and further apply ourwork to a real-world scenario.

研究动机与目标

• 解决现有方法在安全XGBoost训练中因中间信息泄露带来的隐私风险。
• 在不共享数据的前提下，实现两方对垂直划分数据的安全学习。
• 设计一种结合同态加密（HE）与秘密共享（SS）的混合安全域框架，以提升效率与灵活性。
• 在混合安全域模型下，开发两种安全的XGB训练算法及相应的预测协议。
• 在基准数据集和真实世界应用场景中评估框架的性能。

提出的方法

• 引入同态加密（HE）与秘密共享（SS）域之间的双向转换原原子，以支持混合计算。
• 利用混合HE-SS框架设计两种安全的XGBoost训练算法，以最小化中间数据泄露。
• 构建与混合框架兼容的安全预测算法，用于对加密数据进行推理。
• 利用HE支持同态运算的优势与SS支持高效线性运算的优势，实现安全与性能的平衡。
• 通过防止训练过程中梯度、特征值与模型参数的暴露，确保隐私。
• 通过最小化昂贵的同态运算并最大化秘密共享计算，优化框架的效率。

实验结果

研究问题

• RQ1 混合HE-SS框架如何减少在垂直划分数据上安全XGBoost训练中的隐私泄露？
• RQ2 在混合安全域模型下，不同安全XGBoost训练算法之间的性能权衡如何？
• RQ3 所提出的框架在真实世界环境中是否能在确保强隐私保障的同时维持模型准确率？
• RQ4 HE与SS域之间的双向转换如何提升隐私保护机器学习中的效率？
• RQ5 该框架在具有实际性能表现的真实世界数据集上可扩展到何种程度？

主要发现

• 混合HE-SS框架显著减少了与先前方法相比的中间信息泄露，实现了安全的XGBoost训练。
• 通过战略性地结合HE与SS运算，所提出框架实现了更高的计算效率。
• 两种训练算法在基准数据集上表现出相近的模型性能，其中一种在实际应用中展现出更优的效率。
• 框架在Adult与Covertype等标准基准数据集上验证了高模型准确率。
• 框架成功应用于真实世界场景，证明了其实际可行性与鲁棒性。
• HE与SS域之间的双向转换实现了隐私保护机器学习协议的灵活且高效的实现。