[論文レビュー] Efficient Batch Homomorphic Encryption for Vertically Federated XGBoost

Wuxing Xu, Hao Fan+2 more|arXiv (Cornell University)|Dec 8, 2021

Privacy-Preserving Technologies in Data被引用数 10

ひとこと要約

本稿では、垂直フェデレーテッドXGBoostにおける効率的なバッチ同型暗号化手法を提案する。最初の順序微分 $g_i$ と2番目の順序微分 $h_i$ を1つの値に符号化することで、同型暗号化と暗号文送信コストをほぼ半減させる。この手法により、SecureBoostと比較して木構築が最大50%高速化され、総実行時間も30%以上短縮され、AUCおよびKSスコアで測定した精度損失は無視できるほど小さい。

ABSTRACT

More and more orgainizations and institutions make efforts on using external data to improve the performance of AI services. To address the data privacy and security concerns, federated learning has attracted increasing attention from both academia and industry to securely construct AI models across multiple isolated data providers. In this paper, we studied the efficiency problem of adapting widely used XGBoost model in real-world applications to vertical federated learning setting. State-of-the-art vertical federated XGBoost frameworks requires large number of encryption operations and ciphertext transmissions, which makes the model training much less efficient than training XGBoost models locally. To bridge this gap, we proposed a novel batch homomorphic encryption method to cut the cost of encryption-related computation and transmission in nearly half. This is achieved by encoding the first-order derivative and the second-order derivative into a single number for encryption, ciphertext transmission, and homomorphic addition operations. The sum of multiple first-order derivatives and second-order derivatives can be simultaneously decoded from the sum of encoded values. We are motivated by the batch idea in the work of BatchCrypt for horizontal federated learning, and design a novel batch method to address the limitations of allowing quite few number of negative numbers. The encode procedure of the proposed batch method consists of four steps, including shifting, truncating, quantizing and batching, while the decoding procedure consists of de-quantization and shifting back. The advantages of our method are demonstrated through theoretical analysis and extensive numerical experiments.

研究の動機と目的

• 垂直フェデレーテッドXGBoost学習における同型暗号化の高い計算および通信コストを低減すること。
• 安全な勾配集約に必要な暗号化演算および暗号文送信回数を削減すること。
• 縦方向にデータがパーティション化された機関間で、効率的かつプライバシー保護型のXGBoost学習を可能にすること。
• 従来のバッチ処理手法が勾配符号化における負の数に対処できず、問題を引き起こすという制限を克服すること。
• SecureBoostなどの最先端手法と同等のモデル精度を維持しつつ、大幅に効率性を向上させること。

提案手法

• 4段階のプロセス（シフト、切り捨て、量子化、バッチ化）を用いて、最初の順序微分 $g_i$ と2番目の順序微分 $h_i$ を1つの数値に符号化する。
• 符号化された単一の値に対して同型暗号化と加算を実行し、同時に集約された $g$ と $h$ の計算を可能にする。
• 符号化された値の和を逆量子化および再シフトすることで復号し、個々の $g$ と $h$ 値を回復する。
• 精度を制御し、符号化中のオーバーフローを防ぐために、量子化パラメータ $\alpha_{\sf{max}}$ とスケーリング係数 $r$ を導入する。
• 負の数を安全に処理できるバッチ化方式を設計し、従来の手法（例：BatchCrypt）で見られるオーバーフロー問題を回避する。
• モデル学習中に符号化された勾配に対して安全な加法的演算を実行するため、Paillier同型暗号化を用いる。

実験結果

リサーチクエスチョン

• RQ1 最初の順序微分と2番目の順序微分をバッチ処理することで、垂直フェデレーテッドXGBoostにおける同型暗号化演算回数と暗号文送信回数を削減できるか？
• RQ2 従来の手法とは異なり、負の値をオーバーフローを引き起こさずに処理できるバッチ処理はどのように設計できるか？
• RQ3 量子化パラメータが勾配符号化における精度損失および数値安定性に与える影響は何か？
• RQ4 本手法は、SecureBoostと比較して、学習効率およびモデル精度の面でどの程度優れているか？
• RQ5 符号化に起因する量子化の影響があっても、AUCおよびKSで測定したモデル性能は維持されるか？

主な発見

• 提案手法は、大規模データセットにおいて垂直フェデレーテッドXGBoost学習の総実行時を30%以上短縮し、SecureBoostと比較して木構築時間は最大50%短縮する。
• 91,500件のサンプルを含むデータセットでは、総実行時間がSecureBoostの75%にまで短縮され、問題サイズが大きくなるほど改善が顕著になる。
• モデル精度は同等を維持しており、全評価データセットおよび構成においてAUCおよびKS値の差が0.005未満にとどまる。
• ブースティングラウンド数が増えるほど効率性の向上が顕著になり、90本の木構築において1本あたり50%の高速化が達成される。
• 適切な $\alpha_{\sf{max}}$ と $r$ の選択により、オーバーフローを最小限に抑えつつ、近似的に最適な性能が得られる。
• 理論的分析により、本手法は負の数の加算に起因するオーバーフロー問題を回避できることを確認した。これは、従来のバッチ処理技術の主な制限要因である。