[論文レビュー] FedGBF: An efficient vertical federated learning framework via gradient boosting and bagging

Yujin Han, Pan Du+1 more|arXiv (Cornell University)|Apr 3, 2022

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

この論文では、垂直フェデレーテッドラーニングフレームワークであるFedGBFを提案する。このフレームワークは勾配ブースティングとバギングを組み合わせ、各ブースティングラウンドで複数の決定木を並列に学習することで、性能を維持しつつ学習時間を顕著に短縮する。動的バージョンであるDynamic FedGBFは、ハイパーパrameterを適応的にチューニングすることでさらに効率を向上させ、ベンチマークデータセット上でSecureBoostと同等のモデル精度を維持しながら、最大74%の高速化を達成する。

ABSTRACT

Federated learning, conducive to solving data privacy and security problems, has attracted increasing attention recently. However, the existing federated boosting model sequentially builds a decision tree model with the weak base learner, resulting in redundant boosting steps and high interactive communication costs. In contrast, the federated bagging model saves time by building multi-decision trees in parallel, but it suffers from performance loss. With the aim of obtaining an outstanding performance with less time cost, we propose a novel model in a vertically federated setting termed as Federated Gradient Boosting Forest (FedGBF). FedGBF simultaneously integrates the boosting and bagging's preponderance by building the decision trees in parallel as a base learner for boosting. Subsequent to FedGBF, the problem of hyperparameters tuning is rising. Then we propose the Dynamic FedGBF, which dynamically changes each forest's parameters and thus reduces the complexity. Finally, the experiments based on the benchmark datasets demonstrate the superiority of our method.

研究の動機と目的

• 垂直フェデレーテッドラーニングにおける逐次的勾配ブースティングの高い通信コストと学習コストを低減すること。
• フェデレーテッドバギングにおける性能劣化を、ブースティングの原則を統合することで是正し、モデルの精度を向上させること。
• フェデレーテッド環境下での動的ハイパーパrameterチューニングにより、モデルの複雑さと冗長性を低減すること。
• 最小限の学習時間と強固なプライバシー保証を実現しつつ、高いパフォーマンスを発揮する垂直フェデレーテッドラーニングを達成すること。

提案手法

• FedGBFは、各ブースティングラウンドで複数の決定木を並列に構築し、バギングを活用して各木の性能を向上させる。
• 各ブースティング層は複数のベース木の出力を統合し、一般化性能を向上させるとともに、必要なブースティングラウンド数を削減する。
• Dynamic FedGBFは、各ブースティングラウンドごとにフォレストの深さ、木の数、サンプリングレートを変化させる動的パrameter調整戦略を採用する。
• フレームワークは、セキュアアグリゲーションと暗号化された特徴量共有を用いて、垂直フェデレーテッドラーニングにおける参加者間のデータプライバシーを保護する。
• モデル学習は、アクティブ参加者が木の学習とアグリゲーションを調整するクライアント・サーバー・アーキテクチャで実施され、パッシブ参加者は暗号化された勾配とスプリットを提供する。
• 本手法は逐次的および並列的木の学習をサポートしており、並列化の仮定が異なる状況下でのパフォーマンスと効率が評価されている。

実験結果

リサーチクエスチョン

• RQ1 垂直フェデレーテッド環境下でバギングと勾配ブースティングを組み合わせることで、モデルパフォーマンスに悪影響を与えずに学習時間を短縮できるか？
• RQ2 フェデレーテッド勾配ブースティングにおける動的ハイパーパrameterチューニングは、モデルの複雑さと学習効率にどのように影響するか？
• RQ3 各ブースティング層における並列木学習は、逐次的ブースティングと比較して通信コストと計算コストをどの程度低減できるか？
• RQ4 実世界のベンチマークデータセットにおいて、FedGBFはAUC、正解率、F1スコア、実行時間の観点でSecureBoostと比較してどのように異なるか？

主な発見

• Give Me Some CreditおよびDefault of Credit Card Clientsの両データセットにおいて、Dynamic FedGBFは全テストブースティングラウンドでSecureBoostと同等のAUC、正解率、F1スコアを達成した。
• Give Me Some Creditデータセットでは、木を並列に学習させた場合、Dynamic FedGBFの学習時間はSecureBoostの22%〜26%にまで短縮された。
• 最悪の逐次学習シナリオでも、サンプリングの削減と最適化されたパrameterチューニングのおかげで、Dynamic FedGBFはSecureBoostよりも6%〜9%高速であった。
• 理想的な並列化条件下では、Dynamic FedGBFはSecureBoostに比べ最大74%の学習時間短縮を達成し、性能の損失は最小限に抑えられた。
• Dynamic FedGBFの時間推定誤差は10%未満であり、ブースティングラウンドが増えるにつれて減少し、信頼性の高いパフォーマンス予測を示した。
• 暗号化された特徴量交換とセキュアアグリゲーションのおかげで、フレームワークは強固なプライバシー保証を維持し、データ共有なしに協働が可能になった。