[論文レビュー] An Efficient and Robust System for Vertically Federated Random Forest

Houpu Yao, Jiazhou Wang+3 more|arXiv (Cornell University)|Jan 26, 2022

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

本論文では、最適化された同型暗号化、安全なマルチパーティ計算、並列化された木構造学習を用いて、SOTAのSecureBoostよりも最大83倍速い学習と25倍速い推論を達成する、効率的で頑健な垂直フェデレーテッドランダムフォレストシステムを提示する。このシステムは、データプライバシーを保ちながら、数百万件のレコードにスケーリング可能で、リアルタイム推論を可能にし、同等の精度を維持する。

ABSTRACT

As there is a growing interest in utilizing data across multiple resources to build better machine learning models, many vertically federated learning algorithms have been proposed to preserve the data privacy of the participating organizations. However, the efficiency of existing vertically federated learning algorithms remains to be a big problem, especially when applied to large-scale real-world datasets. In this paper, we present a fast, accurate, scalable and yet robust system for vertically federated random forest. With extensive optimization, we achieved $5 imes$ and $83 imes$ speed up over the SOTA SecureBoost model \cite{cheng2019secureboost} for training and serving tasks. Moreover, the proposed system can achieve similar accuracy but with favorable scalability and partition tolerance. Our code has been made public to facilitate the development of the community and the protection of user data privacy.

研究の動機と目的

• 大規模な実世界のデータセットにおける、既存の垂直フェデレーテッド学習システムの学習および推論における非効率性に対処すること。
• SecureBoostなどのSOTA手法と比較して、著しく高速化され、スケーラビリティが向上したにもかかわらず、高い精度を維持するシステムを設計すること。
• 金融や医療などのプライバシーが重要なアプリケーションにおいて、生産環境での導入に耐える、頑健でパーティション耐性を持つシステムを確保すること。
• 通信、計算、システムアーキテクチャの最適化により、低遅延なサービングを実現し、リアルタイム推論を可能にすること。
• データプライバシーを守りながら、複数の参加者間で効率的なモデル学習が可能な、公開可能で生産環境対応のシステムを提供すること。

提案手法

• 本システムは、参加者間で生の特徴量を露呈させることなく、分散型の決定木学習を可能にする画期的なフェデレーテッドランダムフォレストアルゴリズムを採用している。
• 特徴量の値を安全に保護するため、カスタマイズされた同型暗号化方式を統合している。
• 木構造の構築中に情報ゲインとスプリットポイントを安全に計算するために、安全なマルチパーティ計算（MPC）が使用されており、漏洩を最小限に抑える。
• 最適化された通信プロトコルにより、特に特徴量集約とスプリット選択の段階で、参加者間のデータ転送を最小限に抑え、遅延を低減している。
• 個々の木を分離する分散アーキテクチャを採用しており、追加のマシンで水平スケーリングが可能で、高スルーレートの推論をサポートするバッチ処理も可能である。
• 4段階の最適化パイプライン（O1–O4）を適用：RIACによる安全な集約、MPCによるスプリット計算、最適化された通信、および推論加速のためのストリーミング／バッチ処理。

実験結果

リサーチクエスチョン

• RQ1 既存のSOTA手法（例：SecureBoost）と比較して、同等の精度を維持しながら、著しく高速な学習および推論を実現できる垂直フェデレーテッドランダムフォレストシステムは構築可能か？
• RQ2 同型暗号化とMPCをどのように効率的に統合すれば、パフォーマンスに悪影響を与えることなく、安全でスケーラブルな木学習を実現できるか？
• RQ3 通信の削減、並列化、バッチ処理といったシステムレベルの最適化は、フェデレーテッド学習におけるリアルタイム推論の向上にどの程度寄与するか？
• RQ4 本手法は、数百万件のレコードおよび高負荷のクエリを伴う生産規模の展開においても、頑健性とパーティション耐性を維持できるか？
• RQ5 個々の最適化技術（例：RIAC、MPC、通信チューニング）は、学習およびサービング全体のパフォーマンス向上にどの程度寄与しているか？

主な発見

• 提案手法は、FKデータセットにおいてSOTAのSecureBoostと比較して、最大83倍の学習時間の高速化を達成し、300分以上かかっていた学習をわずか60分に短縮した。
• 最適化されたストリーミングを用いることで、推論遅延はSecureBoostの10秒から0.12秒にまで低下し、生産ワークロードにおけるリアルタイム推論を可能にした。
• 100件のクエリをバッチ処理することで、1台のマシンあたり1パーティごとに1秒間に3,000件のクエリ（QPS）を達成し、強力な水平スケーリングを示した。
• 中央集権モデルおよびSecureBoostと同等の精度を維持しており、FKデータセットではAUCスコア0.66、epsilonデータセットでは0.79を達成し、収束が達成された領域ではSOTAを同等または上回った。
• アブレーションスタディの結果、すべての最適化（O1–O4）を組み合わせることで、FKデータセットの学習時間を35時間からわずか1時間に短縮し、ベースライン比で35倍の高速化を達成した。
• 本システムは生産環境に導入されており、数億件の推論呼び出しを失敗なく処理した。これは、実世界の応用における信頼性とスケーラビリティを実証している。