[論文レビュー] BAFFLE : Blockchain Based Aggregator Free Federated Learning

Paritosh Ramanan, Kiyoshi Nakayama|arXiv (Cornell University)|Sep 16, 2019

Privacy-Preserving Technologies in Data参考文献 26被引用数 23

ひとこと要約

BAFFLEは、スマートコントラクトを用いてモデル集約とラウンド調整を分散化する、ブロックチェーンベースでアグリゲーターを不要とするフェデレーテッドラーニングフレームワークを提案する。グローバルモデルパラメータをチャンクに分割し、スコア・バイドメカニズムを採用することで、ガスコストを50%以上削減し、中央集権的FLと同等の精度を達成する。これにより、プライベートまたはパブリックブロックチェーン上で小規模組織がスケーラブルで低コストなFLを実現できる。

ABSTRACT

A key aspect of Federated Learning (FL) is the requirement of a centralized aggregator to maintain and update the global model. However, in many cases orchestrating a centralized aggregator might be infeasible due to numerous operational constraints. In this paper, we introduce BAFFLE, an aggregator free, blockchain driven, FL environment that is inherently decentralized. BAFFLE leverages Smart Contracts (SC) to coordinate the round delineation, model aggregation and update tasks in FL. BAFFLE boosts computational performance by decomposing the global parameter space into distinct chunks followed by a score and bid strategy. In order to characterize the performance of BAFFLE, we conduct experiments on a private Ethereum network and use the centralized and aggregator driven methods as our benchmark. We show that BAFFLE significantly reduces the gas costs for FL on the blockchain as compared to a direct adaptation of the aggregator based method. Our results also show that BAFFLE achieves high scalability and computational efficiency while delivering similar accuracy as the benchmark methods.

研究の動機と目的

• フェデレーテッドラーニング（FL）における中央集権的アグリゲーターの運用およびスケーラビリティの制限、特に小規模組織における課題を解決すること。
• 中央集権的アグリゲーターのモデルに内在する単一障害点と信頼依存性を排除すること。
• ブロックチェーンの制約（取引サイズやガスコストなど）に適合する計算効率の高い分散型FLフレームワークを設計すること。
• クラウドインfraストラクチャーや技術的専門知識がなくても、マイクロスケールの企業が共同で強固なグローバルモデルをトレーニングできるようにすること。
• アグリゲーターを不要とするFLが、古典的FLと同等のパフォーマンスを達成しつつ、大幅にコストを削減できることを実証すること。

提案手法

• BAFFLEは、中央コーディネーターが不要な状況で、グローバルモデルの状態、ラウンドの区切り、ユーザー選定をすべてイーサリアムのスマートコントラクト（SCs）で管理する。
• フレームワークはグローバルモデルを離散的なパラメータチャンクに分割し、ブロックチェーン上で並列かつ独立した更新を可能にする。
• スコア・バイド戦略により、パフォーマンス指標に基づいて高品質なローカルモデル更新を選択し、冗長な取引とガス使用量を最小限に抑える。
• ラウンド境界はユーザーが報告する計算状態に基づいて動的に決定され、一貫性と公平性が保証される。
• モデル更新は、最高スコアのチャンクに対してのみシリアル化され、ブロックチェーンにプッシュされるため、取引量が削減される。
• システムは、Solidityスマートコントラクトを用いてプライベートイーサリアムネットワークに実装されており、実世界の検証として、ライドシェアリングにおけるディープ強化学習モデルが使用された。

実験結果

リサーチクエスチョン

• RQ1 中央アグリゲーターが存在しない完全に分散型のフェデレーテッドラーニングシステムを構築可能であり、モデルの精度を維持できるか？
• RQ2 ガスコストや取引サイズといったブロックチェーンの制約を、分散型FL環境で効果的に緩和できるか？
• RQ3 参加者の参加レベルが、アグリゲーターを不要とするFLシステムにおける収束速度、ガスコスト、およびモデル品質に与える影響は何か？
• RQ4 スマートコントラクトベースのアプローチが、中央集権的集約を用いた古典的FLと同等のパフォーマンスを達成できるか？
• RQ5 スコア・バイドメカニズムは、分散型モデル集約における非効率な更新をどのように改善し、冗長な更新を削減するか？

主な発見

• BAFFLEは、参加率が低い状況下でも、ランダムな分散型FLベースライン（RandomDFL）と比較してガスコストを50%以上削減した。
• 5%の参加率でも、BAFFLEはRandomDFLと同等の収束速度を達成し、ガスコストとプッシュ時間の両方を著しく低減した。
• BAFFLEにおけるモデル品質は、古典的中央集権的FLと極めて近い水準であり、アグリゲーターを不要とするFLが高精度を維持できることを示した。
• スコア・バイドメカニズムは、冗長な更新を効果的に排除し、取引の競合を低減し、計算効率を向上させた。
• BAFFLEは、クラウドインfraストラクチャーや専門的知識がなくても、マイクロスケールの組織がプライベートまたはパブリックブロックチェーン上でFLを展開できるようにした。
• 実世界のライドシェアインスタントケーススタディでは、BAFFLEは非FLアプローチと比較してドライバー収入を約40%向上させ、実用的インパクトを実証した。