[論文レビュー] Robust Blockchained Federated Learning with Model Validation and Proof-of-Stake Inspired Consensus

Hang Chen, Syed Ali Asif+3 more|arXiv (Cornell University)|Jan 9, 2021

Privacy-Preserving Technologies in Data参考文献 20被引用数 37

ひとこと要約

VBFLは分散型モデル検証とPoS風の合意を導入し、ブロックチェーン型連合学習を保護して悪意のあるデバイスに対する頑健性を向上させる。MNISTでは15%の攻撃者で、VBFLは87%の精度を達成し、Vanilla FLより7.4倍高い。

ABSTRACT

Federated learning (FL) is a promising distributed learning solution that only exchanges model parameters without revealing raw data. However, the centralized architecture of FL is vulnerable to the single point of failure. In addition, FL does not examine the legitimacy of local models, so even a small fraction of malicious devices can disrupt global training. To resolve these robustness issues of FL, in this paper, we propose a blockchain-based decentralized FL framework, termed VBFL, by exploiting two mechanisms in a blockchained architecture. First, we introduced a novel decentralized validation mechanism such that the legitimacy of local model updates is examined by individual validators. Second, we designed a dedicated proof-of-stake consensus mechanism where stake is more frequently rewarded to honest devices, which protects the legitimate local model updates by increasing their chances of dictating the blocks appended to the blockchain. Together, these solutions promote more federation within legitimate devices, enabling robust FL. Our emulation results of the MNIST classification corroborate that with 15% of malicious devices, VBFL achieves 87% accuracy, which is 7.4x higher than Vanilla FL.

研究の動機と目的

• 単一障害点とFLにおけるモデル正当性を解決して堅牢な連合学習を動機づける。
• モデル検証とPoS風の合意を組み合わせた分散VBFLフレームワークを提案。
• 悪意ある参加者を用いたMNIST実験を通じて堅牢性と効率の向上を実証。

提案手法

• VBFLをラウンドごとに3つの役割（ワーカー、バリデータ、マイナー）を持つ形で導入。
• 分散検証を実装。バリデータは自分のデータで局所更新を評価し正当性について投票。
• PoS風の合意を採用。貢献度が最も大きいマイナー（ステークによって）が正当なブロックを生成。
• 2層の報酬メカニズムを使用し、役割と性能に基づいてステークを蓄積し、ブロック選択と参加を誘導。
• 正当なブロックを、マイナー間で蓄積された最高のステークに基づいて選択し、悪意ある行為者のブラックリスト化を考慮。

実験結果

リサーチクエスチョン

• RQ1 分散検証は中央集約型アグリゲータなしで歪んだ局所更新を効果的に除外できるか？
• RQ2 PoS風の合意はPoWに比べて通信量と遅延を削減しつつ、汚染攻撃に対する頑健性を維持できるか？
• RQ3 VBFLを支え、悪意ある参加を抑止する集約ルールと報酬構造は何か？
• RQ4 VBFLは現実的な悪意の存在下でのフェデレーテッドラーニングタスク（例：MNIST）でどう機能するか？

主な発見

• 15%の悪意デバイスを伴うMNIST精度87%、同条件下のVanilla FLより7.4倍高い。
• 提案された分散検証は、バリデータ間で投票し、ラウンドごとの役割割り当てを活用することで悪意ある更新の影響を減らす。
• VBFL-PoSは通信オーバーヘッドを削減し、エミュレーションでPoWベースのシステムと同等のフォーキング挙動を維持する。
• 役割スイッチングは単一のマイナーの永続的支配を緩和し、一部のブロックチェーン強化FLアプローチに見られる非民主主義的副作用を防ぐのに役立つ。
• オープンソースのVBFLプロトタイプはPythonで実装され、提供されたリポジトリURLで再現可能。