[論文レビュー] A Hybrid-Domain Framework for Secure Gradient Tree Boosting.

Wenjing Fang, Chaochao Chen+7 more|arXiv (Cornell University)|May 18, 2020

Cryptography and Data Security参考文献 33被引用数 17

ひとこと要約

本稿では、垂直に分割されたデータ上の安全でプライバシー保護されたXGBoost学習を可能にする、同型暗号（HE）とシークレット共有（SS）を組み合わせたハイブリッドドメインフレームワークを提案する。HEドメインとSSドメインの間での双方向変換を可能にすることで、効率性と柔軟性が向上し、漏洩を低減した安全な勾配木ブースティングを実現した。ベンチマークデータセットおよび実世界のデータセットを用いた検証で、優れた性能が確認された。

ABSTRACT

Gradient tree boosting (e.g. XGB) is one of the most widely usedmachine learning models in practice. How to build a secure XGB inface of data isolation problem becomes a hot research topic. However, existing works tend to leak intermediate information and thusraise potential privacy risk. In this paper, we propose a novel framework for two parties to build secure XGB with vertically partitioneddata. Specifically, we associate Homomorphic Encryption (HE) domain with Secret Sharing (SS) domain by providing the two-waytransformation primitives. The framework generally promotes theefficiency for privacy preserving machine learning and offers theflexibility to implement other machine learning models. Then weelaborate two secure XGB training algorithms as well as a corresponding prediction algorithm under the hybrid security domains.Next, we compare our proposed two training algorithms throughboth complexity analysis and experiments. Finally, we verify themodel performance on benchmark dataset and further apply ourwork to a real-world scenario.

研究の動機と目的

• 既存手法における中間情報漏洩によるプライバシーリスクを解消すること。
• データ共有を伴わずに2者間の安全な学習を実現すること。
• 同型暗号（HE）とシークレット共有（SS）を組み合わせたハイブリッドセキュリティドメインフレームワークを設計すること。
• ハイブリッドドメインモデル下で、2つの安全なXGB学習アルゴリズムとそれに対応する予測プロトコルを開発すること。
• フレームワークの性能をベンチマークデータセットおよび実世界の応用シナリオにおいて評価すること。

提案手法

• 同型暗号（HE）ドメインとシークレット共有（SS）ドメインの間で双方向変換を可能にするプリミティブを導入し、ハイブリッド計算を実現する。
• ハイブリッドHE-SSフレームワークを用いて、中間データ漏洩を最小限に抑える2つの安全なXGBoost学習アルゴリズムを設計する。
• 暗号化されたデータに対する推論を可能にする、ハイブリッドフレームワークと互換性のある安全な予測アルゴリズムを構築する。
• HEをホモモーフィック演算に、SSを効率的な線形演算に活用することで、セキュリティとパフォーマンスのバランスを図る。
• 学習中に勾配、特徴値、モデルパラメータの暴露を防ぐことでプライバシーを確保する。
• 高コストなホモモーフィック演算を最小限に抑え、シークレット共有計算を最大化することで、フレームワークの効率性を最適化する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドHE-SSフレームワークは、垂直に分割されたデータ上の安全なXGBoost学習において、どのようにプライバシー漏洩を低減できるか？
• RQ2 ハイブリッドドメインモデル下で、異なる安全なXGBoost学習アルゴリズムの間で、パフォーマンスのトレードオフはどのようなものか？
• RQ3 提案されたフレームワークは、実世界の環境でも高いプライバシー保証を維持しながら、モデルの精度を保持できるか？
• RQ4 HEドメインとSSドメインの間での双方向変換は、プライバシー保護機械学習における効率性をどのように向上させるか？
• RQ5 実世界のデータセットに対して、実用的なパフォーマンスを発揮するまで、フレームワークはどの程度スケーラブルか？

主な発見

• ハイブリッドHE-SSフレームワークにより、先行手法と比較して中間情報漏洩が著しく低減された安全なXGBoost学習が実現された。
• 戦略的なHEとSS演算の組み合わせにより、計算効率が向上した。
• 2つの学習アルゴリズムはベンチマークデータセット上で同等のモデル性能を示したが、実用的には一方がより高い効率性を示した。
• AdultやCovertypeといった標準ベンチマークデータセットを用いた検証で、高いモデル精度が維持された。
• 実世界の応用事例への適用に成功し、実用的かつ高い耐障害性を示した。
• HEドメインとSSドメインの間での双方向変換により、プライバシー保護機械学習プロトコルの柔軟かつ効率的な実装が可能になった。