[論文レビュー] Secure and Efficient Federated Learning Through Layering and Sharding Blockchain

Shuo Yuan, Bin Cao+3 more|arXiv (Cornell University)|Apr 27, 2021

Privacy-Preserving Technologies in Data参考文献 57被引用数 6

ひとこと要約

本稿では、IoTデバイスをサブチェーンに分割するシャーディングと、クロスシャーディング検証にDAGベースのメインチェーンを用いる二層構造のブロックチェーン駆動型フェデレーテッドラーニングシステム、ChainFLを提案する。これにより、従来のFLシステムと比較して、トレーニング効率が最大14%向上し、耐障害性が三倍に向上する。また、階層的コンセンサスと仮想プルーニングを用いて、悪意あるデバイスや遅延するデバイスによるセキュリティリスクを軽減する。

ABSTRACT

Introducing blockchain into Federated Learning (FL) to build a trusted edge computing environment for transmission and learning has attracted widespread attention as a new decentralized learning pattern. However, traditional consensus mechanisms and architectures of blockchain systems face significant challenges in handling large-scale FL tasks, especially on Internet of Things (IoT) devices, due to their substantial resource consumption, limited transaction throughput, and complex communication requirements. To address these challenges, this paper proposes ChainFL, a novel two-layer blockchain-driven FL system. It splits the IoT network into multiple shards within the subchain layer, effectively reducing the scale of information exchange, and employs a Direct Acyclic Graph (DAG)-based mainchain as the mainchain layer, enabling parallel and asynchronous cross-shard validation. Furthermore, the FL procedure is customized to integrate deeply with blockchain technology, and a modified DAG consensus mechanism is designed to mitigate distortion caused by abnormal models. To provide a proof-of-concept implementation and evaluation, multiple subchains based on Hyperledger Fabric and a self-developed DAG-based mainchain are deployed. Extensive experiments demonstrate that ChainFL significantly surpasses conventional FL systems, showing up to a 14% improvement in training efficiency and a threefold increase in robustness.

研究の動機と目的

• 信頼できないIoT環境における従来のフェデレーテッドラーニングのスケーラビリティおよびセキュリティ上の制限を解決すること。
• 大規模なFL展開におけるブロックチェーンのオーバーヘッドを低減し、トランザクションスループットを向上させること。
• 分散型コンセンサスとモデル検証を通じて、悪意あるデバイスや遅延するデバイスのリスクを軽減すること。
• リソース制限のあるIoTデバイスと互換性があるスケーラブルで効率的かつ安全なFLフレームワークを設計すること。
• 実世界の環境において、ブロックチェーン統合の遅延とモデルの耐障害性のトレードオフを評価すること。

提案手法

• 本システムは二層アーキテクチャを採用しており、サブチェーンはデバイスシャーディング内のローカルモデルコンセンサスを、メインチェーンはグローバルモデル検証を担当する。
• シャーディングにより、IoTネットワークがより小さな管理可能なサブチェーンに分割され、ノードごとの通信およびストレージオーバーヘッドが低減される。
• 変更を加えたDAGコンセンサスメカニズムにより、非同期的かつ並列的なクロスシャーディング検証が可能となり、スループットとフォールトトレラランスが向上する。
• FLトレーニングプロセスはブロックチェーンと密接に統合されており、ローカルモデル評価およびメインチェーンにおける悪意あるモデルの仮想プルーニングが含まれる。
• 階層的コンセンサスプロトコルにより、同期的なシャーディングレベルのコンセンサスと非同期的なメインチェーン検証が統合され、遅延モデルや遅延デバイスの処理が可能になる。
• プロトタイプは、サブチェーンにHyperledger Fabric、メインチェーンにカスタムDAGベースのチェーンを用いて実装され、エンドツーエンドの評価が可能になった。

実験結果

リサーチクエスチョン

• RQ1 ブロックチェーンをフェデレーテッドラーニングにどのように効率的に統合できるか。特に、大規模なIoTネットワークにおける遅延低減とスケーラビリティ向上の観点から。
• RQ2 シャーディングは、ブロックチェーン拡張FLシステムにおける通信およびストレージオーバーヘッドをどの程度低減できるか。
• RQ3 DAGベースのメインチェーンは、従来のブロックチェーン構造と比較して、フェデレーテッドラーニングにおけるより高速でより耐障害性の高いコンセンサスを実現できるか。
• RQ4 提案されたシステムは、ベースラインのFL手法と比較して、悪意あるデバイス攻撃に対してどの程度の性能を示すか。
• RQ5 ブロックチェーン統合による追加の遅延と、それに伴うモデル耐障害性の向上のトレードオフはどのようなものか。

主な発見

• ChainFLは、FedAvg や AsynFL といった従来のFLシステムと比較して、トレーニング効率が最大14%向上する。
• 本システムは、悪意あるデバイスに対する耐障害性が三倍に向上しており、最大30%のデバイスが悪意ある状態であっても安定した収束が確認された。
• ブロックチェーンのオーバーヘッドによるわずかなトレーニング遅延の増加があるものの、攻撃的状況下でも全体的な収束安定性と精度においてAsynFLを上回る性能を示した。
• メインチェーンにおける仮想プルーニング機構は、悪意あるモデルを効果的に排除し、グローバルモデルの正確性を維持するとともに、収束の劣化を防いでいる。
• ChainFLは、ローカルエポック数やバッチサイズなどのハイパーパrameterに対して、FedAvgと同程度の感度を示しており、標準的なFL設定との互換性があることが示された。
• シャーディング数や1シャーディングあたりのデバイス数の変動に対しても、システムの性能は安定しており、シャーディングサイズの増加に伴いわずかにパープレキシティが低下する程度であった。