[論文レビュー] Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation

Jun Li, Yumeng Shao+6 more|arXiv (Cornell University)|Jan 18, 2021

Privacy-Preserving Technologies in Data被引用数 9

ひとこと要約

本稿では、中央集権型FLにおける単一障害点のリスクを排除するため、ブロックチェーンを統合した分散型フェデレーテッドラーニング（FL）フレームワーク、BLADE-FLを提案する。クライアントがマイニングとローカルでのモデル集約を競い合い、中央サーバーを必要としない形でモデルを集約することで、グローバル損失関数の凸上界を最小化するリソース割り当てを最適化する。実験では、MNISTおよびFashion-MNISTデータセットにおいて、さまざまなラジオクライアントおよびノイズ条件のもとで理論的上界と実世界の結果の差が5%未満であることを示している。

ABSTRACT

Federated learning (FL), as a distributed machine learning paradigm, promotes personal privacy by local data processing at each client. However, relying on a centralized server for model aggregation, standard FL is vulnerable to server malfunctions, untrustworthy server, and external attacks. To address this issue, we propose a decentralized FL framework by integrating blockchain into FL, namely, blockchain assisted decentralized federated learning (BLADE-FL). In a round of the proposed BLADE-FL, each client broadcasts the trained model to other clients, aggregates its own model with received ones, and then competes to generate a block before its local training of the next round. We evaluate the learning performance of BLADE-FL, and develop an upper bound on the global loss function. Then we verify that this bound is convex with respect to the number of overall aggregation rounds K, and optimize the computing resource allocation for minimizing the upper bound. We also note that there is a critical problem of training deficiency, caused by lazy clients who plagiarize others' trained models and add artificial noises to disguise their cheating behaviors. Focusing on this problem, we explore the impact of lazy clients on the learning performance of BLADE-FL, and characterize the relationship among the optimal K, the learning parameters, and the proportion of lazy clients. Based on MNIST and Fashion-MNIST datasets, we show that the experimental results are consistent with the analytical ones. To be specific, the gap between the developed upper bound and experimental results is lower than 5%, and the optimized K based on the upper bound can effectively minimize the loss function.

研究の動機と目的

• 中央集権型フェデレーテッドラーニング（FL）システムにおける単一障害点の脆弱性を解消すること。
• 信頼できない環境下でもピアツーピアでモデル集約が可能な、ブロックチェーンを用いた分散型FLフレームワークを設計すること。
• BLADE-FLにおけるグローバル損失関数の理論的上界を導出し、それを最小化するリソース割り当て戦略を最適化すること。
• モデルを模倣するか、人工的なノイズを注入する「ラジオクライアント」が学習性能に与える影響を調査すること。
• MNISTおよびFashion-MNISTを用いた実験により、理論モデルの妥当性を検証し、理論と実際の結果の整合性を確認すること。

提案手法

• 各クライアントにおいて、ブロックチェーンマイニングとローカルでのモデル学習を統合したプロセスを実施し、中央サーバーを必要としない分散型モデル集約を実現する。
• モデルはピアツーピアでブロードキャストされる。各クライアントは受信したモデルを集約し、次の学習ラウンドの前に新しいブロックをマイニングする競争に参加する。
• 合計集約ラウンド数 $K$ に関して、グローバル損失関数の凸上界を導出することで最適化を可能にする。
• 最適な収束を達成するための $K$ の調整により、導出された上界を最小化するリソース割り当て戦略を提案する。
• 他者のモデルを模倣するか、人工ノイズを注入するラジオクライアントの影響を分析し、そのような行動下での修正上界を導出する。
• ガウスノイズを用いた微分プライバシーを採用し、プライバシーと性能のトレードオフを評価。その結果、最適な $K$ はプライバシー予算 $\epsilon$ に影響されないことが示された。

実験結果

リサーチクエスチョン

• RQ1 中央サーバーに依存せず、単一障害点を回避できる分散型フェデレーテッドラーニングシステムをどのように設計できるか？
• RQ2 提案されたBLADE-FLフレームワークにおけるグローバル損失関数の理論的上界は何か？また、合計集約ラウンド数 $K$ に関して凸であるか？
• RQ3 モデルを模倣するか、ノイズを注入する「ラジオクライアント」がBLADE-FLの学習性能に与える影響は何か？
• RQ4 損失関数の上界を最小化する最適な集約ラウンド数 $K^*$ は何か？また、その値はラジオクライアントの割合やノイズのパワーにどのように依存するか？
• RQ5 理論的上界に基づく最適リソース割り当ては、実データセットにおける実験的性能とどの程度一致するか？

主な発見

• グローバル損失関数の理論的上界は、合計集約ラウンド数 $K$ に関して凸であるため、効率的な最適化が可能である。
• MNISTおよびFashion-MNISTデータセットの両方において、理論的上界と実験的結果の差が常に5%未満である。
• ラジオクライアントの割合（$M/N$）が増加するにつれて、最適な学習ステップ数が増加する。例えば、MNISTでは $M/N$ が0%から30%に上昇する際、ステップ数は30から50に増加する。
• 人工ノイズのパワー（$\sigma^2$）が高くなると、最適な学習ステップ数も長くなる。$\sigma^2$ が0.01から0.3に上昇する際、$\tau\alpha K^*$ は30から50に増加する。
• 最適な集約ラウンド数 $K^*$ は微分プライバシーのプライバシー予算 $\epsilon$ に依存せず、プライバシー保護が最適リソース割り当てに影響を与えないことを示している。
• 高いプライバシー予算（$\epsilon$）は、より高いモデル精度と低い損失をもたらすが、その代わりにプライバシー保護が弱くなる。これは明確な性能-プライバシーのトレードオフを確認するものである。