[論文レビュー] Practical Federated Gradient Boosting Decision Trees

Qinbin Li, Zeyi Wen+1 more|arXiv (Cornell University)|Nov 11, 2019

Privacy-Preserving Technologies in Data参考文献 25被引用数 27

ひとこと要約

本稿では、局所性に敏感なハッシュ（LSH）を活用して、生データを露呈せずに参加者間で類似性情報を共有する実用的なフェデレーテッド勾配ブースティング決定木（GBDT）フレームワーク、SimFLを提案する。LSHから得られる類似性を用いた重み付き勾配ブースティングにより、中央集権的学習に近い高いモデル精度を達成するとともに、計算および通信のオーバーヘッドを低く抑え、プライバシー制約を緩めても既存手法を上回る効率性と予測性能を実現する。

ABSTRACT

Gradient Boosting Decision Trees (GBDTs) have become very successful in recent years, with many awards in machine learning and data mining competitions. There have been several recent studies on how to train GBDTs in the federated learning setting. In this paper, we focus on horizontal federated learning, where data samples with the same features are distributed among multiple parties. However, existing studies are not efficient or effective enough for practical use. They suffer either from the inefficiency due to the usage of costly data transformations such as secret sharing and homomorphic encryption, or from the low model accuracy due to differential privacy designs. In this paper, we study a practical federated environment with relaxed privacy constraints. In this environment, a dishonest party might obtain some information about the other parties' data, but it is still impossible for the dishonest party to derive the actual raw data of other parties. Specifically, each party boosts a number of trees by exploiting similarity information based on locality-sensitive hashing. We prove that our framework is secure without exposing the original record to other parties, while the computation overhead in the training process is kept low. Our experimental studies show that, compared with normal training with the local data of each party, our approach can significantly improve the predictive accuracy, and achieve comparable accuracy to the original GBDT with the data from all parties.

研究の動機と目的

• 同種の暗号化技術や微分プライバシーに依存する高コストな手法に起因する、既存の水平的フェデレーテッドGBDT手法の非効率性と低精度を是正すること。
• 生データが露出しないが有用な類似性情報が共有可能な、緩められたプライバシー制約下での実用的フェデレーテッド学習フレームワークをGBDT用に設計すること。
• 生データではなく共有された類似性パターンを用いて、複数参加者間で協調的に木構造を構築することで、モデル精度を向上させること。
• 秘密分散や同型暗号化を避けることで、効率的なLSHと軽量な通信を用いて、学習のオーバーヘッドを低減すること。

提案手法

• 局所性に敏感なハッシュ（LSH）を用いて、参加者間で生特徴値を露呈せずに類似性シグネチャを計算・交換する。
• LSHに基づく類似性情報を用いて、誤差の上限が保証された重み付き勾配ブースティング（WGB）フレームワークで木の分割を指針づける。
• 類似度が高いサンプルに高い重みを割り当てる、新規のWGB手法を設計し、分散データを用いた効果的なモデル学習を可能にする。
• LSHの単方向性と直接的なデータ転送の不在により、不正な参加者であっても他の参加者の生データを再構築できないようにすることでプライバシーを確保する。
• 通信を類似性シグネチャとモデル更新のみに限定し、1つの木あたりの通信コストを10MB未満に抑える。
• LSHによる前処理を一度行い、再利用可能な類似性シグネチャを生成することで、複数回の学習実行にわたる前処理コストを均等化する。

実験結果

リサーチクエスチョン

• RQ1 同型暗号化や秘密分散といった高コストな暗号化プリミティブに依存せずに、フェデレーテッドGBDTフレームワークが高精度な予測性能を達成できるか。
• RQ2 LSHから得られる類似性情報は、水平に分割されたデータ上でモデルの一般化性能をどれほど向上させられるか。
• RQ3 緩められたプライバシーモデル下でのフェデレーテッドGBDT学習において、プライバシー、精度、効率性のトレードオフはどのようなものか。
• RQ4 軽量で通信効率の高いフレームワークは、学習速度とモデル精度の両面で既存手法を上回れるか。
• RQ5 参加者数やデータパーティショニング比の変動に伴って、提案手法の安定性とスケーラビリティはどの程度か。

主な発見

• SimFLは、HIGGSデータセットにおいて最大1.3%の差でSOLO（ローカル学習のみ）を下回り、ALL-IN（中央集権的学習）とほぼ同等のテスト誤差率を達成している。
• SUSYデータセットでは、SimFLのテスト誤差は29.3%であり、SOLOの31.4%、ALL-INの29.5%と比較して、不均衡なデータパーティショニング下でも優れた性能を示している。
• SimFLの学習時間はSOLOの10%以内であり、ALL-INに比べて顕著に高速で、HIGGSデータセットでは中央値で44.8秒（ALL-INは226.6秒）を記録している。
• 1つの木あたりの通信コストは10MB未満であり、大規模な暗号鍵の転送を要する暗号化ベース手法に比べて顕著に低い。
• 参加者数やデータパーティショニング比の変動に対しても安定しており、複数回の実行における結果の分散が小さい。
• 前処理コストは複数回の学習実行にわたって均等化されるため、ハイパーパramータチューニングや反復的モデル開発において実用的である。