[論文レビュー] Cloud-based Federated Boosting for Mobile Crowdsensing

Zhuzhu Wang, Yilong Yang+4 more|arXiv (Cornell University)|May 9, 2020

Privacy-Preserving Technologies in Data参考文献 31被引用数 5

ひとこと要約

この論文は、モバイルクラウドセンシングにおけるXGBoostモデルのプライバシー保護型学習を可能にする、秘密分散に基づく分散学習アーキテクチャであるFedXGBを提案する。秘密分散を活用して安全なCART構築とモデル予測を実現することで、ユーザーのデータ再構築攻撃およびモデル盗難に対して耐性を示し、非プライベートなXGBoostと比較して1%未満の精度損失を達成しながら、データ、勾配、モデルパラメータを保護する。

ABSTRACT

The application of federated extreme gradient boosting to mobile crowdsensing apps brings several benefits, in particular high performance on efficiency and classification. However, it also brings a new challenge for data and model privacy protection. Besides it being vulnerable to Generative Adversarial Network (GAN) based user data reconstruction attack, there is not the existing architecture that considers how to preserve model privacy. In this paper, we propose a secret sharing based federated learning architecture FedXGB to achieve the privacy-preserving extreme gradient boosting for mobile crowdsensing. Specifically, we first build a secure classification and regression tree (CART) of XGBoost using secret sharing. Then, we propose a secure prediction protocol to protect the model privacy of XGBoost in mobile crowdsensing. We conduct a comprehensive theoretical analysis and extensive experiments to evaluate the security, effectiveness, and efficiency of FedXGB. The results indicate that FedXGB is secure against the honest-but-curious adversaries and attains less than 1% accuracy loss compared with the original XGBoost model.

研究の動機と目的

• 既存のモバイルクラウドセンシング向け分散学習アーキテクチャにおけるモデルプライバシー保護の欠如に対処すること。
• 勾配集約に対してGANベースの攻撃によるユーザーのデータ再構築リスクを軽減すること。
• 公開されたモデルをアクセスまたは逆引き可能とする攻撃者によるモデル盗難を防止すること。
• ユーザー参加の動的変化に対応できるよう、分散学習におけるユーザーの離脱を処理できること。
• 分散型モバイルセンシング環境におけるプライバシー保護型エクストリーム勾配ブースティングのための、安全で効率的かつスケーラブルなアーキテクチャを設計すること。

提案手法

• XGBoost学習中にユーザーのデータと勾配を保護するために加法的秘密分散を採用すること。
• 秘密分散された入力を用いた分類および回帰木（CART）の構築のための安全なプロトコルを設計し、データ再構築を防止すること。
• モデルパラメータを暗号化して漏洩を防ぐ秘密分散ベースの予測プロトコルを実装すること。
• アーキテクチャレベルでのプライバシー強化と中央サーバの負荷軽減を目的にエッジサーバーを導入すること。
• 秘密分散された勾配を用いた勾配集約を実施し、GANによる入力データ再構築攻撃を防止すること。
• 正則化を用いた最適化により、データ再構築のための逆問題の解法可能性を制限すること。

実験結果

リサーチクエスチョン

• RQ1 秘密分散技術は、モバイルクラウドセンシングにおける分散XGBoost学習中にユーザーのデータプライバシーを効果的に保護できるか？
• RQ2 提案されたアーキテクチャは、モデルをユーザーに共有した場合にモデルプライバシー漏洩を防止できるか？
• RQ3 標準的な分散学習と比較して、FedXGBはGANベースのユーザーのデータ再構築攻撃に対してどの程度効果的に耐性を示すか？
• RQ4 精度および学習効率の観点から、FedXGBの性能オーバーヘッドはどの程度か？
• RQ5 エッジサーバーの導入により、分散XGBoost学習におけるプライバシーとスケーラビリティはどのように向上するか？

主な発見

• FedXGBは、元のXGBoostモデルと比較して1%未満の精度損失を達成しており、高いモデル忠実度を示している。
• アーキテクチャはユーザーのデータ再構築攻撃に対して効果的に耐性を示している：FedXGBに対するGANベースの攻撃は、識別可能な画像ではなく、ランダムなノイズしか生成しない。
• FedXGB下での再構築画像のグレーレベル周波数ヒストограмは、元のデータと類似性を示さず、特徴の回復に対する耐性を確認している。
• CART構築における秘密分散の使用により、中央サーバーやエッジサーバーが勾配から入力データを再構築できないことが保証されている。
• モデル予測プロトコルにより、ユーザーがモデルにアクセスしたとしても、完全なモデルパラメータを逆引きまたは盗難できないことが保証されている。
• FedXGBは高い効率性とスケーラビリティを維持しており、動的ユーザー参加を伴う大規模なモバイルクラウドセンシングをサポートしている。