[論文レビュー] Boosting Privately: Privacy-Preserving Federated Extreme Boosting for Mobile Crowdsensing

Yang Liu, Zhuo Ma+4 more|arXiv (Cornell University)|Jul 24, 2019

Mobile Crowdsensing and Crowdsourcing参考文献 40被引用数 53

ひとこと要約

FedXGB は、集約を強制し、モバイルクラウドセンサリングにおけるユーザドロップアウトへ対応するハイブリッドなセキュア集約（同型暗号と秘密分散を組み合わせたもの）を用いるプライバシー保護付き連合型XGBoostフレームワークを提示する。HEベースの更新により実行時間と通信を削減しつつ、元の XGBoost に近い精度を達成する。

ABSTRACT

Recently, Google and other 24 institutions proposed a series of open challenges towards federated learning (FL), which include application expansion and homomorphic encryption (HE). The former aims to expand the applicable machine learning models of FL. The latter focuses on who holds the secret key when applying HE to FL. For the naive HE scheme, the server is set to master the secret key. Such a setting causes a serious problem that if the server does not conduct aggregation before decryption, a chance is left for the server to access the user's update. Inspired by the two challenges, we propose FedXGB, a federated extreme gradient boosting (XGBoost) scheme supporting forced aggregation. FedXGB mainly achieves the following two breakthroughs. First, FedXGB involves a new HE based secure aggregation scheme for FL. By combining the advantages of secret sharing and homomorphic encryption, the algorithm can solve the second challenge mentioned above, and is robust to the user dropout. Then, FedXGB extends FL to a new machine learning model by applying the secure aggregation scheme to the classification and regression tree building of XGBoost. Moreover, we conduct a comprehensive theoretical analysis and extensive experiments to evaluate the security, effectiveness, and efficiency of FedXGB. The results indicate that FedXGB achieves less than 1% accuracy loss compared with the original XGBoost, and can provide about 23.9% runtime and 33.3% communication reduction for HE based model update aggregation of FL.

研究の動機と目的

• モバイルクラウドセンサリングにおける XGBoost のプライバシー保護型連合学習を動機づける。
• 常に集約される強制的な勾配更新を実現するために FedXGB を開発する。
• HEと秘密分散を組み合わせた、ドロップアウト耐性のあるセキュアな集約メカニズムを提供する。
• XGBoost に対して CART の安全な訓練と分割の学習を通じて FL を拡張する。

提案手法

• 中央サーバーとモバイルユーザーを持つ FedXGB アーキテクチャを導入する。
• Bresson の暗号系と Shamir の秘密分散を組み合わせたハイブリッドなセキュア集約 SecAgg を提案する。
• 安全な CART 構築のための SecBoost と安全な分割探索のための SecFind を開発する。
• 安全な共有鍵導出のための Key.Agr を実装し、マスクされた勾配伝送のための SecMask を実装する。
• Shamir 分散を介して欠損したマスク鍵を再構築することによりドロップアウトを復元する。
• 標準データセットで評価し、精度損失が < 1% 、実行時間が 23.9% 、通信が 33.3% の削減を示す。

実験結果

リサーチクエスチョン

• RQ1 プライベートなユーザデータを公開せずに、連合型 XGBoost をどのように学習させられるか？
• RQ2 更新が復号化された場合でも、強制的な集約は情報流出を防げるのか？
• RQ3 セキュア集約中に FedXGB はユーザのドロップアウトをどのように処理するか？
• RQ4 提案されたセキュア集約方式の性能トレードオフ（精度、実行時間、通信）は FL-XGBoost においてどのようになるか？
• RQ5 安全な CART 構築と分割探索は、典型的なモバイルクラウドセンサリング設定に対してスケーラブルか？

主な発見

• FedXGB は元の XGBoost と比較して精度損失が 1% 未満を維持する。
• SecAgg を用いた連合更新は、HE ベースの集約の実行時間を約 23.9% 削減する。
• SecAgg を用いた連合更新は、通信を約 33.3% 削減する。
• セキュア集約設計は強制集約を可能にし、集約なしにはサーバーが復号できないことを防ぐ。
• Shamir秘密分散を介したドロップアウト耐性により、ドロップアウトしたユーザーのマスク鍵を回復し、正しい集約を実現する。
• このアプローチは、堅牢なセキュリティ保証を備えた、プライバシー保護型連合環境への XGBoost の訓練を拡張する。